Parsero Definition: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
Die Seite wurde neu angelegt: „=Grundlegendes= *Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt. *Disallow-Einträge sind die Links…“ |
|||
| (Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
=Grundlegendes= | =Grundlegendes= | ||
* | *Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt. | ||
*Disallow-Einträge sind die Links die nicht von Suchmaschinen | *Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen. | ||
[[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | [[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | ||
=Robots.txt= | =Robots.txt= | ||
* | *Man kann damit Teile oder eine komplette Website für Webcrawler sperren. | ||
*Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft | *Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft. | ||
Aktuelle Version vom 12. August 2021, 14:14 Uhr
Grundlegendes
- Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt.
- Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen.
Robots.txt
- Man kann damit Teile oder eine komplette Website für Webcrawler sperren.
- Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft.