Parsero Definition: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
(Die Seite wurde neu angelegt: „=Grundlegendes= *Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt. *Disallow-Einträge sind die Links…“) |
|||
| (Eine dazwischenliegende Version desselben Benutzers wird nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
=Grundlegendes= | =Grundlegendes= | ||
| − | * | + | *Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt. |
| − | *Disallow-Einträge sind die Links die nicht von Suchmaschinen | + | *Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen. |
[[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | [[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | ||
| + | |||
=Robots.txt= | =Robots.txt= | ||
| − | * | + | *Man kann damit Teile oder eine komplette Website für Webcrawler sperren. |
| − | *Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft | + | *Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft. |
Aktuelle Version vom 12. August 2021, 14:14 Uhr
Grundlegendes
- Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt.
- Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen.
Robots.txt
- Man kann damit Teile oder eine komplette Website für Webcrawler sperren.
- Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft.