Parsero: Unterschied zwischen den Versionen

@@ Zeile 1: / Zeile 1: @@
-=Parsero Definition=
+*[[Parsero Definition]]
-*Mithilfe von Parsero wird die Robots.txt eines Web-Servers ausgelesen und die Disallow-Einträge angezeigt.
+*[[Parsero anwenden]]
-*Disallow-Einträge sind die Links die nicht von Suchmaschinen wie z.B. Bing. Google, etc. indexiert werden dürfen.
-[[Datei:Bildschirmfoto von 2021-08-12 15-38-00.png]]
-==Robots.txt==
-*Robots.txt ist dafür um die komplette Website, Verzeichnisse, Unterverzeichnisse oder einzelne Dateien für alle Webcrawler oder auch nur für bestimmte zu sperren.
-*Sie ist das erste Dokument das ein Bot beim Crawlen der Website aufruft
-=Funktion=
-*Mit dem Befehl '''parsero -u ''''LINK''''''' wird die Robots.txt gelesen
-*Beispiel:
- parsero -u www.facebook.de
-oder
- parsero -u www.dhs.gov
-=Befehle=
-*parsero -h - '''''Für Hilfe'''''
-*parsero -u URL
-*parsero -u URL -o - ''gibt nur HTTP 200 status code an'''''Fetter Text'''
-*parsero -u URL -sb - '''''Nur Disallow Einträge für Bing suchen'''''

Aktuelle Version vom 12. August 2021, 14:14 Uhr