Inhaltsverzeichnis
Wenn Suchmaschinen auf einer Website ankommen, suchen sie nach der Datei robots.txt, um sie zu lesen. Es hängt von seinem Inhalt ab, damit der Suchmaschinen-Spider innerhalb der Site weiterläuft oder zu einer anderen wechselt.Die Datei robots.txt enthält eine Liste von Seiten, die von der Suchmaschine indiziert werden dürfen, wodurch der Zugriff auf bestimmte Suchmaschinen selektiv eingeschränkt wird.
Agentenbenutzer: Es wird verwendet, um festzulegen, welcher Roboter den angezeigten Befehlen folgt.
Nicht zulassen: Es wird verwendet, um zu erkennen, welche Seiten während des Analyseprozesses von der Suchmaschine ausgeschlossen werden. Wichtig ist, dass jede auszuschließende Seite eigene Zeilen haben muss und zusätzlich mit dem /-Symbol beginnen muss. Mit dieser Symbologie wird es spezifiziert; zu "alle Seiten der Website".
Es ist äußerst wichtig, dass die Datei robots.txt keine Leerzeilen enthält.
Einige Beispiele sind unten aufgeführt;
- Wenn Sie alle Seiten ausschließen möchten; der Benutzeragent lautet: Nicht zulassen: /.
- Wenn das Ziel nicht darin besteht, eine Seite auszuschließen, darf die Datei robotos.txt nicht auf der Website vorhanden sein, dh alle Seiten der Website werden gleichermaßen besucht.
- Wenn ein bestimmter Roboter ausgeschlossen wird, ist dies:
- Agentenbenutzer: Robotername Nicht zulassen: / Agentenbenutzer: * Nicht zulassen:
- Wenn eine Seite ausgeschlossen wird; Agent-Benutzer: * Nicht zulassen: /directory/path/page.html
- Wenn alle Seiten eines Verzeichnisses mit ihren entsprechenden Unterordnern von der Website ausgeschlossen sind, wird dies der Fall sein; Agent-Benutzer: * Nicht zulassen: / Verzeichnis /
Eine weitere Funktion besteht darin, die Indexierung von auf der Site gefundenen doppelten Inhalten zu verhindern, um nicht bestraft zu werden.
Andere zu berücksichtigende Überlegungen sind, dass einige Roboter die Anweisungen in dieser Datei ignorieren können, und es muss auch klar sein, dass die Datei öffentlich ist, da jeder, der www.example.com/robots.txt schreibt, darauf zugreifen kann.
Jetzt kann die Frage lauten; Wie erstelle ich die robots.txt-Datei?
Es ist eigentlich ganz einfach, da es sich um ein Textdokument mit dem Namen "robots.txt" handelt und es dann in das Stammverzeichnis der Domain der Seite hochgeladen wird. Dort suchen die Suchmaschinen nach ihm, um es zu lesen.
Eine einfache robots.txt-Datei kann sein:
User-Agent: *
Verbieten: / privat /
Es werden Anweisungen generiert, um den Zugriff auf ein Verzeichnis zu verweigern, das für alle Suchmaschinen "privat" ist.
Der Befehl legt fest, dass er an alle Robots adressiert ist (User-agent: *) und gibt an, dass das Verzeichnis nicht zugelassen ist (Disallow: / private /).
Der Parameter, der für die Google-Suchmaschine verwendet wird, ist; User-Agent: Googlebot
Wie bereits erwähnt, wird seine Verwendung in SEO verwendet, um den Zugriff von Robotern auf duplizierte Inhalte einzuschränken.Hat dir dieses Tutorial gefallen und geholfen?Sie können den Autor belohnen, indem Sie diesen Knopf drücken, um ihm einen positiven Punkt zu geben
