Parsero Definition

Aus Xinux Wiki
Version vom 12. August 2021, 14:10 Uhr von Thomas.will (Diskussion | Beiträge) (Die Seite wurde neu angelegt: „=Grundlegendes= *Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt. *Disallow-Einträge sind die Links…“)
(Unterschied) ← Nächstältere Version | Aktuelle Version (Unterschied) | Nächstjüngere Version → (Unterschied)
Zur Navigation springen Zur Suche springen

Grundlegendes

  • Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt.
  • Disallow-Einträge sind die Links die nicht von Suchmaschinen wie z.B. Bing. Google, etc. indexiert werden dürfen.

Bildschirmfoto von 2021-08-12 15-38-00.png

Robots.txt

  • Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren.
  • Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft
Abgerufen von „http://wiki.ixheim.de/index.php?title=Parsero_Definition&oldid=27387“