So erstellen Sie robots.txt für WordPress
· Время на чтение: 6мин · von · Veröffentlicht · AktualisiertHallo zusammen, heute werde ich es erzählen wie man robots.txt für WordPress erstellt. Erstellen einer robots.txt-Datei Zunächst müssen Sie den Suchmaschinen-Robots mitteilen, welche Abschnitte Ihrer Website der Robot umgehen und indizieren kann und welche nicht.
Tatsächlich wird diese Dienstdatei benötigt, um dem Suchbot anzugeben, welche Abschnitte der Website in Suchmaschinen indiziert werden und welcher Suchroboter überspringen soll. Sie müssen jedoch verstehen, dass Suchmaschinen-Roboter die Verbotsrichtlinie ignorieren und den Abschnitt indizieren können. Allerdings sind solche Fälle recht selten.
Der Inhalt des Artikels:
- Erstellen einer robots.txt-Datei
- Dekodierung der robots.txt-Datei (Anweisungen)
- Ein Beispiel einer erweiterten Robots.txt-Datei für meine Website
Robots.txt für WordPress – wie geht das?
1. Erstellen Sie eine Textdatei mit dem Namen „Robots“ im TXT-Format. Erstellt mit einem normalen Texteditor.
2. Geben Sie als Nächstes die folgenden Informationen in diese Datei ein:
Benutzeragent: Yandex Nicht zulassen: /wp-admin Nicht zulassen: /wp-includes Nicht zulassen: /wp-comments Nicht zulassen: /wp-content/plugins Nicht zulassen: /wp-content/themes Nicht zulassen: /wp-content/cache Nicht zulassen: / wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: */trackback Nicht zulassen: */feed Nicht zulassen: /cgi-bin Nicht zulassen: /tmp/ Nicht zulassen: *?s= User-agent: * Nicht zulassen: /wp- admin Nicht zulassen: /wp-includes Nicht zulassen: /wp-comments Nicht zulassen: /wp-content/plugins Nicht zulassen: /wp-content/themes Nicht zulassen: /wp-content/cache Nicht zulassen: /wp-login.php Nicht zulassen: /wp- register.php Nicht zulassen: */trackback Nicht zulassen: */feed Nicht zulassen: /cgi-bin Nicht zulassen: /tmp/ Nicht zulassen: *?s= Host: site.com Sitemap: http://site.com/sitemap.xml
3. Ersetzen Sie die Anweisung Host: site.com (site.com) durch den Namen Ihrer Site.
4. Geben Sie in der Sitemap-Anweisung Folgendes an: den vollständigen Pfad zu Ihrer Sitemap. Die URL kann je nach Plugin, das die Karte auf Ihrer Website generiert, unterschiedlich sein.
5. Speichern Sie die robots.txt-Datei und laden Sie sie in den Stammordner Ihrer Website hoch. Sie können dies mit jedem FTP-Client tun.
6. Großartig, Ihre Datei ist fertig und funktioniert. Bevor die Website nun gecrawlt wird, greifen Suchmaschinen-Robots zunächst auf diese Servicedatei zu.
Dekodierung der robots.txt-Datei (Anweisungen)
Schauen wir uns nun die Datei Robots.txt genauer an. Was und warum haben wir zur robots.txt-Datei hinzugefügt?
User-Agent - Direktive, notwendig, um den Namen des Suchroboters anzugeben. Damit können Sie Suchrobotern den Besuch Ihrer Website verbieten oder erlauben. Zum Beispiel:
Wir verbieten dem Yandex-Roboter, den Cache-Ordner anzuzeigen:
Benutzeragent: Yandex
Nicht zulassen: /wp-content/cache
Wir erlauben dem Bing-Roboter, den Themenordner (mit Site-Themen) zu durchsuchen:
Benutzeragent: bingbot
Erlauben: /wp-content/themes
Damit unsere Regeln für alle Suchmaschinen einheitlich wirken. Verwenden Sie die Direktive: User-Agent: *
Zulassen und nicht zulassen – Richtlinie zum Erlauben und Verboten. Beispiele:
Erlauben Sie dem Yandex-Bot, den wp-admin-Ordner anzuzeigen:
Benutzeragent: Yandex
Erlauben: /wp-admin
Verhindern Sie, dass alle Bots den wp-content-Ordner anzeigen:
User-Agent: *
Nicht zulassen: /wp-content
Diese robots.txt-Datei verwendet nicht die Allow-Direktive. Was wir mit der Disallow-Direktive nicht verbieten, wird standardmäßig zugelassen.
- Gastgeber - Direktive, die benötigt wird, um den Hauptspiegel der Site anzugeben, der vom Roboter indiziert wird. Auf alles Dritte wird nicht verzichtet.
- Seitenverzeichnis - hier geben wir den Pfad zur Sitemap an. Bitte beachten Sie, dass Sitemap ein sehr wichtiges Tool für die Website-Werbung ist! Seine Anwesenheit ist wichtig, vergessen Sie es nicht.
Ein Beispiel einer erweiterten Robots.txt-Datei für meine Website
Werfen wir nun einen Blick auf die Robots-Datei meiner Website. Bitte beachten Sie, dass ich die Verbots- bzw. Erlaubnisanweisungen entsprechend meinen Bedürfnissen bearbeite. Wenn Sie sich für die Verwendung meines Beispiels entscheiden, überprüfen Sie unbedingt die Datei und entfernen Sie die Anweisungen, die Sie nicht benötigen.
Nehmen wir die robots.txt-Datei dieser Site:
# robots.txt User-Agent: * Nicht zulassen: /wp-json/ # technische Informationen Nicht zulassen: /wp-login.php # Sicherheit Nicht zulassen: /wp-register.php # Sicherheit Nicht zulassen: /xmlrpc.php # Sicherheit, WordPress API Datei nicht zulassen: / template.html #technische Informationen nicht zulassen: /wp-admin #Sicherheit nicht zulassen: */trackback #Duplikate, Kommentare nicht zulassen: */Kommentare* #Duplikate, Kommentare nicht zulassen: *Kommentare_* #Duplikate, Kommentare nicht zulassen: /search #Website-Suchergebnisseiten nicht zulassen : /author /* # Autoren- und Benutzerseiten Nicht zulassen: /users/ Nicht zulassen: /*?replytocom # snotty index Nicht zulassen: /*?replytocom* Nicht zulassen: /comment-page* # Kommentarseiten Nicht zulassen: /wp-content/cache #cache Ordner nicht zulassen: */tag /* #tags – ggf. nicht zulassen: /tag/* nicht zulassen: */embed$ #all Embeds nicht zulassen: */?s=* #search nicht zulassen: */?p=* #search nicht zulassen: */?x= * #search nicht zulassen: */ ?xs_review=* #pages-Beitragseditor, visuelle Vorschau nicht zulassen: /?page_id=* #pages-Seiteneditor, visuelle Vorschau nicht zulassen: */feed #all-Feeds und RSS-Feeds nicht zulassen: */?feed nicht zulassen: */rss Nicht zulassen: *.php #technische Dateien. Nicht zulassen: /ads.txt # technische Anzeigenseiten, falls zutreffend. Nicht zulassen: */amp # alle AMP-Seiten – bei Verwendung von Technologie nicht deaktivieren. Nicht zulassen: */amp? Nicht zulassen: */amp/ Nicht zulassen: */?amp* Nicht zulassen: */stylesheet #einige aufgetauchte Stylesheets Nicht zulassen: */stylesheet* Nicht zulassen: /?customize_changeset_uuid= #technische Duplikate des Caching- und Komprimierungs-Plugins Nicht zulassen: */?customize_changeset_uuid*customize_autosaved =an
# geben den Bots die Dateien an, die für die korrekte Anzeige der Seiten der Website benötigt werden. Zulassen: /wp-content/uploads/ Zulassen: /wp-includes Zulassen: /wp-content Zulassen: */uploads Zulassen: /*/*.js Zulassen: /*/*.css Zulassen: /wp-*.png Zulassen: /wp-*.jpg Zulassen: /wp-*.jpeg Zulassen: /wp-*.gif Zulassen: /wp-admin/admin-ajax.php
1TP31Berechtigung für Bots, Ordner mit Bildern anzuzeigen. Benutzeragent: Googlebot-Image Zulassen: /wp-content/uploads/ Benutzeragent: Yandex-Images Zulassen: /wp-content/uploads/ Benutzeragent: Mail.Ru-Images Zulassen : /wp-content/uploads/ Benutzeragent: ia_archiver-Images Erlauben: /wp-content/uploads/ Benutzeragent: Bingbot-Images Erlauben: /wp-content/uploads/
1TP31 Geben Sie den Hauptspiegel und den Sitemap-Host an: https://nicola.top Sitemap: https://nicola.top/sitemap_index.xml
Abschluss
Ich habe ausführlich genug darüber gesprochen, wie man robots.txt für WordPress erstellt. Bitte beachten Sie, dass alle an dieser Datei vorgenommenen Änderungen nach einiger Zeit sichtbar werden. Den umfassendsten Überblick finden Sie im Artikel zum Erstellen von robots.txt für eine Website auf verschiedenen CMS.
Bearbeiten Sie Anweisungen entsprechend Ihren Anforderungen. Es besteht keine Notwendigkeit, alles gedankenlos in diese Servicedatei einzutragen. Solche unverantwortlichen Änderungen können zum Verlust und zur vollständigen Entfernung wichtiger Seiten oder Abschnitte der Website aus der Suche führen. Ich hoffe, dass dieser Leitfaden für Sie nützlich sein wird. Hinterlassen Sie unbedingt Kommentare mit Fragen.
Lesen dieses Artikels:
- So installieren Sie Google Analytics auf einer WordPress-Site – Zähler
- So leiten Sie in WordPress um
Danke fürs Lesen: SEO HELPER | NICOLA.TOP