Parsero: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
| Zeile 1: | Zeile 1: | ||
| − | + | *[[Parsero Definition]] | |
| − | |||
| − | * | ||
| − | [[ | ||
| − | |||
| − | |||
| − | |||
| − | |||
=Funktion= | =Funktion= | ||
Mit dem Befehl '''parsero -u ''''LINK''''''' wird die Robots.txt gelesen | Mit dem Befehl '''parsero -u ''''LINK''''''' wird die Robots.txt gelesen | ||
Version vom 12. August 2021, 14:10 Uhr
Funktion
Mit dem Befehl parsero -u ''LINK'' wird die Robots.txt gelesen
Beispiel:
- parsero -u www.facebook.de
oder
- parsero -u www.dhs.gov
Befehle
- parsero -h - Für Hilfe
- parsero -u URL
- parsero -u URL -o - gibt nur HTTP 200 status code anFetter Text
- parsero -u URL -sb - Nur Disallow Einträge für Bing suchen