Parsero Definition

Grundlegendes

• Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt.
• Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen.

Robots.txt

• Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren.
• Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft