Parsero Definition: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
(Die Seite wurde neu angelegt: „=Grundlegendes= *Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt. *Disallow-Einträge sind die Links…“) |
|||
| Zeile 1: | Zeile 1: | ||
=Grundlegendes= | =Grundlegendes= | ||
| − | * | + | *Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt. |
| − | *Disallow-Einträge sind die Links die nicht von Suchmaschinen | + | *Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen. |
[[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | [[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]] | ||
| + | |||
=Robots.txt= | =Robots.txt= | ||
*Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren. | *Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren. | ||
*Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft | *Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft | ||
Version vom 12. August 2021, 14:12 Uhr
Grundlegendes
- Parsero liest die Robots.txt eines Web-Servers aus und es werden Disallow-Einträge angezeigt.
- Disallow-Einträge sind die Links die nicht von Suchmaschinen indexiert werden dürfen.
Robots.txt
- Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren.
- Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft