Parsero Definition: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
Die Seite wurde neu angelegt: „=Grundlegendes= *Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt. *Disallow-Einträge sind die Links…“ |
|||
| Zeile 1: | Zeile 1: | ||
=Grundlegendes= | =Grundlegendes= | ||
* | *Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt. | ||
*Disallow-Einträge sind die Links die nicht von Suchmaschinen | *Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen. | ||
[[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | [[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | ||
=Robots.txt= | =Robots.txt= | ||
*Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren. | *Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren. | ||
*Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft | *Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft | ||
Version vom 12. August 2021, 14:12 Uhr
Grundlegendes
- Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt.
- Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen.
Robots.txt
- Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren.
- Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft