Parsero
Version vom 12. August 2021, 13:42 Uhr von Robin.will (Diskussion | Beiträge) (Die Seite wurde neu angelegt: „=Parsero Definition= *Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt. *Disallow-Einträge sind die…“)
Parsero Definition
- Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt.
- Disallow-Einträge sind die Links die nicht von Suchmaschinen wie z.B. Bing. Google, etc. indexiert werden dürfen.
Funktion
- Mit dem Befehl parsero -u ''LINK'' wird die Robots.txt gelesen
- Beispiel:
parsero -u facebook.de
