So erstellen Sie robots.txt für WordPress

drucken · Время на чтение: 6мин · von · Veröffentlicht · Aktualisiert

spielenHören Sie sich diesen Artikel an

So erstellen Sie Robots.txt für WordPress – Erstellen der richtigen Robots.txtHallo zusammen, heute werde ich es erzählen wie man robots.txt für WordPress erstellt. Erstellen einer robots.txt-Datei Zunächst müssen Sie den Suchmaschinen-Robots mitteilen, welche Abschnitte Ihrer Website der Robot umgehen und indizieren kann und welche nicht.

Tatsächlich wird diese Dienstdatei benötigt, um dem Suchbot anzugeben, welche Abschnitte der Website in Suchmaschinen indiziert werden und welcher Suchroboter überspringen soll. Sie müssen jedoch verstehen, dass Suchmaschinen-Roboter die Verbotsrichtlinie ignorieren und den Abschnitt indizieren können. Allerdings sind solche Fälle recht selten.

Der Inhalt des Artikels:

Robots.txt für WordPress – wie geht das?

1. Erstellen Sie eine Textdatei mit dem Namen „Robots“ im TXT-Format. Erstellt mit einem normalen Texteditor.

Ein Beispiel für die Erstellung einer robots.txt-Datei für WordPress.
2. Geben Sie als Nächstes die folgenden Informationen in diese Datei ein:

Benutzeragent: Yandex Nicht zulassen: /wp-admin Nicht zulassen: /wp-includes Nicht zulassen: /wp-comments Nicht zulassen: /wp-content/plugins Nicht zulassen: /wp-content/themes Nicht zulassen: /wp-content/cache Nicht zulassen: / wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: */trackback Nicht zulassen: */feed Nicht zulassen: /cgi-bin Nicht zulassen: /tmp/ Nicht zulassen: *?s= User-agent: * Nicht zulassen: /wp- admin Nicht zulassen: /wp-includes Nicht zulassen: /wp-comments Nicht zulassen: /wp-content/plugins Nicht zulassen: /wp-content/themes Nicht zulassen: /wp-content/cache Nicht zulassen: /wp-login.php Nicht zulassen: /wp- register.php Nicht zulassen: */trackback Nicht zulassen: */feed Nicht zulassen: /cgi-bin Nicht zulassen: /tmp/ Nicht zulassen: *?s= Host: site.com Sitemap: http://site.com/sitemap.xml

3. Ersetzen Sie die Anweisung Host: site.com (site.com) durch den Namen Ihrer Site.
4. Geben Sie in der Sitemap-Anweisung Folgendes an: den vollständigen Pfad zu Ihrer Sitemap. Die URL kann je nach Plugin, das die Karte auf Ihrer Website generiert, unterschiedlich sein.
5. Speichern Sie die robots.txt-Datei und laden Sie sie in den Stammordner Ihrer Website hoch. Sie können dies mit jedem FTP-Client tun.
6. Großartig, Ihre Datei ist fertig und funktioniert. Bevor die Website nun gecrawlt wird, greifen Suchmaschinen-Robots zunächst auf diese Servicedatei zu.

Dekodierung der robots.txt-Datei (Anweisungen)

Schauen wir uns nun die Datei Robots.txt genauer an. Was und warum haben wir zur robots.txt-Datei hinzugefügt?
User-Agent - Direktive, notwendig, um den Namen des Suchroboters anzugeben. Damit können Sie Suchrobotern den Besuch Ihrer Website verbieten oder erlauben. Zum Beispiel:

Wir verbieten dem Yandex-Roboter, den Cache-Ordner anzuzeigen:

Benutzeragent: Yandex
Nicht zulassen: /wp-content/cache

Wir erlauben dem Bing-Roboter, den Themenordner (mit Site-Themen) zu durchsuchen:

Benutzeragent: bingbot
Erlauben: /wp-content/themes

Damit unsere Regeln für alle Suchmaschinen einheitlich wirken. Verwenden Sie die Direktive: User-Agent: *

Zulassen und nicht zulassen – Richtlinie zum Erlauben und Verboten. Beispiele:

Erlauben Sie dem Yandex-Bot, den wp-admin-Ordner anzuzeigen:

Benutzeragent: Yandex
Erlauben: /wp-admin

Verhindern Sie, dass alle Bots den wp-content-Ordner anzeigen:

User-Agent: *
Nicht zulassen: /wp-content

Diese robots.txt-Datei verwendet nicht die Allow-Direktive. Was wir mit der Disallow-Direktive nicht verbieten, wird standardmäßig zugelassen.

  • Gastgeber - Direktive, die benötigt wird, um den Hauptspiegel der Site anzugeben, der vom Roboter indiziert wird. Auf alles Dritte wird nicht verzichtet.
  • Seitenverzeichnis - hier geben wir den Pfad zur Sitemap an. Bitte beachten Sie, dass Sitemap ein sehr wichtiges Tool für die Website-Werbung ist! Seine Anwesenheit ist wichtig, vergessen Sie es nicht.

Ein Beispiel einer erweiterten Robots.txt-Datei für meine Website

Werfen wir nun einen Blick auf die Robots-Datei meiner Website. Bitte beachten Sie, dass ich die Verbots- bzw. Erlaubnisanweisungen entsprechend meinen Bedürfnissen bearbeite. Wenn Sie sich für die Verwendung meines Beispiels entscheiden, überprüfen Sie unbedingt die Datei und entfernen Sie die Anweisungen, die Sie nicht benötigen.

Ein Beispiel für eine robots.txt-Datei, eine persönliche Website.

Nehmen wir die robots.txt-Datei dieser Site:

# robots.txt User-Agent: * Nicht zulassen: /wp-json/ # technische Informationen Nicht zulassen: /wp-login.php # Sicherheit Nicht zulassen: /wp-register.php # Sicherheit Nicht zulassen: /xmlrpc.php # Sicherheit, WordPress API Datei nicht zulassen: / template.html #technische Informationen nicht zulassen: /wp-admin #Sicherheit nicht zulassen: */trackback #Duplikate, Kommentare nicht zulassen: */Kommentare* #Duplikate, Kommentare nicht zulassen: *Kommentare_* #Duplikate, Kommentare nicht zulassen: /search #Website-Suchergebnisseiten nicht zulassen : /author /* # Autoren- und Benutzerseiten Nicht zulassen: /users/ Nicht zulassen: /*?replytocom # snotty index Nicht zulassen: /*?replytocom* Nicht zulassen: /comment-page* # Kommentarseiten Nicht zulassen: /wp-content/cache #cache Ordner nicht zulassen: */tag /* #tags – ggf. nicht zulassen: /tag/* nicht zulassen: */embed$ #all Embeds nicht zulassen: */?s=* #search nicht zulassen: */?p=* #search nicht zulassen: */?x= * #search nicht zulassen: */ ?xs_review=* #pages-Beitragseditor, visuelle Vorschau nicht zulassen: /?page_id=* #pages-Seiteneditor, visuelle Vorschau nicht zulassen: */feed #all-Feeds und RSS-Feeds nicht zulassen: */?feed nicht zulassen: */rss Nicht zulassen: *.php #technische Dateien. Nicht zulassen: /ads.txt # technische Anzeigenseiten, falls zutreffend. Nicht zulassen: */amp # alle AMP-Seiten – bei Verwendung von Technologie nicht deaktivieren. Nicht zulassen: */amp? Nicht zulassen: */amp/ Nicht zulassen: */?amp* Nicht zulassen: */stylesheet #einige aufgetauchte Stylesheets Nicht zulassen: */stylesheet* Nicht zulassen: /?customize_changeset_uuid= #technische Duplikate des Caching- und Komprimierungs-Plugins Nicht zulassen: */?customize_changeset_uuid*customize_autosaved =an
# geben den Bots die Dateien an, die für die korrekte Anzeige der Seiten der Website benötigt werden. Zulassen: /wp-content/uploads/ Zulassen: /wp-includes Zulassen: /wp-content Zulassen: */uploads Zulassen: /*/*.js Zulassen: /*/*.css Zulassen: /wp-*.png Zulassen: /wp-*.jpg Zulassen: /wp-*.jpeg Zulassen: /wp-*.gif Zulassen: /wp-admin/admin-ajax.php
1TP31Berechtigung für Bots, Ordner mit Bildern anzuzeigen. Benutzeragent: Googlebot-Image Zulassen: /wp-content/uploads/ Benutzeragent: Yandex-Images Zulassen: /wp-content/uploads/ Benutzeragent: Mail.Ru-Images Zulassen : /wp-content/uploads/ Benutzeragent: ia_archiver-Images Erlauben: /wp-content/uploads/ Benutzeragent: Bingbot-Images Erlauben: /wp-content/uploads/
1TP31 Geben Sie den Hauptspiegel und den Sitemap-Host an: https://nicola.top Sitemap: https://nicola.top/sitemap_index.xml

Abschluss

Ich habe ausführlich genug darüber gesprochen, wie man robots.txt für WordPress erstellt. Bitte beachten Sie, dass alle an dieser Datei vorgenommenen Änderungen nach einiger Zeit sichtbar werden. Den umfassendsten Überblick finden Sie im Artikel zum Erstellen von robots.txt für eine Website auf verschiedenen CMS.

Bearbeiten Sie Anweisungen entsprechend Ihren Anforderungen. Es besteht keine Notwendigkeit, alles gedankenlos in diese Servicedatei einzutragen. Solche unverantwortlichen Änderungen können zum Verlust und zur vollständigen Entfernung wichtiger Seiten oder Abschnitte der Website aus der Suche führen. Ich hoffe, dass dieser Leitfaden für Sie nützlich sein wird. Hinterlassen Sie unbedingt Kommentare mit Fragen.

Lesen dieses Artikels:

Danke fürs Lesen: SEO HELPER | NICOLA.TOP

Wie hilfreich war dieser Beitrag?

Klicke auf die Sterne um zu bewerten!

Durchschnittliche Bewertung 5 / 5. Anzahl Bewertungen: 169

Bisher keine Bewertungen! Sei der Erste, der diesen Beitrag bewertet.

Das könnte dich auch interessieren …

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

4 × пять =