Parsero

• Parsero Definition

Funktion

Mit dem Befehl parsero -u ''LINK'' wird die Robots.txt gelesen

Beispiel:

• parsero -u www.facebook.de

oder

• parsero -u www.dhs.gov

Befehle

• parsero -h - Für Hilfe
• parsero -u URL
• parsero -u URL -o - gibt nur HTTP 200 status code anFetter Text
• parsero -u URL -sb - Nur Disallow Einträge für Bing suchen