Parsero Definition

Grundlegendes

• Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt.
• Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen.

Robots.txt

• Man kann damit Teile oder eine komplette Website für Webcrawler sperren.
• Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft.