So erstellen Sie eine robots.txt-Datei für eine Website - richtige Roboter

Hören Sie sich diesen Artikel an

Detaillierte Anweisungen zu So erstellen Sie eine robots.txt-Datei für Website. Robots.txt ist einer der wichtigsten Aspekte einer umfassenden Suchmaschinenoptimierung der Website und der Sicherheit Ihrer Website. Durch die Einhaltung der Bedingungen für die ordnungsgemäße Verwendung dieser Datei können Sie einen gewissen positiven Effekt auf die Website erzielen.

Für die meisten PSs ist es möglich, verschiedene Anweisungen anzugeben. Die dem Suchbot die notwendigen Einschränkungen oder Berechtigungen zum Scannen von Seiten, Verzeichnissen oder Abschnitten der Website anzeigen.

Der Inhalt des Artikels:

• Hauptdefinition der Robots.txt-Datei
• Warum Robots.txt auf der Website benötigt wird – seine Auswirkungen auf die Suchmaschinenwerbung
• So erstellen Sie selbst eine Robors.txt-Datei und Beispiele
• So erstellen Sie eine Robots.txt-Datei mithilfe von Onlinediensten
• Bearbeiten und korrekte Syntax der Datei Robots.txt
• Richtige Konfiguration der Robots.txt-Datei – korrekte Schreibweise der Befehle
• Abschluss

Robots.txt-Datei – Grundlegende Definition

Robots.txt - verfügt über bestimmte Ausnahmestandards für Suchagenten (Bots), die im Januar 1944 verabschiedet wurden. Die Datei erinnert ein wenig an die .htaccess-Datei (in sie sind auch Regeln geschrieben). Die Regeln dieser Datei werden von den gängigsten PS freiwillig befolgt. Die Datei kann aus einer oder mehreren Regeln bestehen, die dem Crawler jeweils den Zugriff auf bestimmte Pfade auf der Site blockieren oder ermöglichen.

Standardmäßig befindet sich diese Datei nicht auf der Site – was allen PSs die volle Berechtigung gibt, den gesamten Inhalt der Site zu indizieren. Eine solche Erlaubnis kann dazu führen, dass wichtige technische Seiten der Website in den Suchmaschinenindex aufgenommen werden, die dort nicht vorhanden sein sollten.

Warum brauchen wir Robots.txt auf der Website – seine Auswirkungen auf die Werbung in Suchmaschinen

Robots.txt ist der wichtigste Faktor bei der Suchmaschinenoptimierung einer Website. Dank eines richtig geschriebenen Regelwerks für Such-Bots können Sie eine gewisse Steigerung des Rankings einer Website in der Suche erreichen. Was bringen diese Anweisungen:

1. Gesperrt für die Indizierung bestimmter Seiten, Abschnitte und Verzeichnisse der Website;
2. Ausschluss von Seiten, die keinen nützlichen Inhalt enthalten;
3. Eliminierung doppelter Seiten und mehr.

Für die meisten Websites sind solche Indexierungsbeschränkungen einfach notwendig; kleine ganzseitige Websites sind optional. Allerdings müssen jeder Site bestimmte Anweisungen hinzugefügt werden. Zum Beispiel Indexierungsverbote:

1. Registrierungsseiten, Admin-Login, Passwortwiederherstellung;
2. Technische Kataloge;
3. Rss – Site-Feeds;
4. Replytocom und mehr.

So erstellen Sie selbst eine Robors.txt-Datei und Beispiele

Schwierigkeiten beim Erstellen einer Robots.txt-Datei können selbst für Anfänger nicht auftreten. Es reicht aus, eine bestimmte Abfolge von Aktionen einzuhalten:

1. Robots.txt ist ein Textdokument und wird von jedem verfügbaren Texteditor erstellt;
2. Die Dateierweiterung muss .txt sein;
3. Der Name ist Pflichtroboter;
4. Pro Site ist nur eine solche Datei zulässig;
5. Nur im Stammverzeichnis der Site platziert;

Sie müssen einen gewöhnlichen Texteditor (alternativ Notepad) verwenden. Wir erstellen ein .txt-Dokument mit dem Namen robots. Anschließend speichern und übertragen wir dieses Dokument mit einem FTP-Client in das Stammverzeichnis der Site. Dies sind die wichtigsten Schritte, die Sie befolgen müssen.

Beispiele für Standard-Robots.txt für beliebte CMS

Robots.txt-Beispiel für amiro.cms:

Ein Beispiel für robots.txt für Bitrix:

Robots.txt-Beispiel für dle:

Drupal robots.txt-Beispiel:

Robots.txt-Beispiel für hostcms:

Robots.txt-Beispiel für Joomla3:

Beispiel robots.txt für Joomla:

Robots.txt-Beispiel für modx evo:

Robots.txt-Beispiel für modx:

Robots.txt-Beispiel für Netcat:

Robots.txt-Beispiel für Opencat:

Robots.txt-Beispiel für typo3:

Robots.txt-Beispiel für umi:

Beispiel robots.txt für WordPress:

Hier ist ein Beispiel meiner WordPress CMS-Site-Datei:

# robots.txt User-Agent: * Nicht zulassen: /wp-json/ Nicht zulassen: /wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: /template.html Nicht zulassen: /wp-admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen: /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /*?replytocom* Nicht zulassen: /comment-page * Nicht zulassen: */tag/* Nicht zulassen: /tag/* Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */embed Nicht zulassen: /?p= Nicht zulassen: *.php Nicht zulassen: /ads.txt Nicht zulassen: */stylesheet Nicht zulassen: */stylesheet* Erlauben: /wp-content/uploads/ Erlauben: /wp-includes Erlauben: /wp-content Erlauben: */uploads Erlauben: /* /*.js Erlauben: /*/*.css Erlauben: /wp-*.png Erlauben: /wp-*.jpg Erlauben: /wp-*.jpeg Erlauben: /wp-*.gif Erlauben: /wp-admin /admin-ajax.php Benutzeragent: Yandex Nicht zulassen: /wp-json/ Nicht zulassen: /wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: /template.html Nicht zulassen: /wp -admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen: /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /*?replytocom* Nicht zulassen: /comment -page* Nicht zulassen: */tag/* Nicht zulassen: /tag/* Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */embed Nicht zulassen: /?s= Nicht zulassen: /?p= Nicht zulassen: *.php Nicht zulassen: /ads.txt Nicht zulassen: */amp Nicht zulassen: */amp? Nicht zulassen: */amp/ Nicht zulassen: */stylesheet Nicht zulassen: */stylesheet* Erlauben: /wp-content/uploads/ Erlauben: /wp-includes Erlauben: /wp-content Erlauben: */uploads Erlauben: /*/*. js Zulassen: /*/*.css Zulassen: /wp-*.png Zulassen: /wp-*.jpg Zulassen: /wp-*.jpeg Zulassen: /wp-*.gif Zulassen: /wp-admin/admin- ajax.php Benutzeragent: Mail.Ru Nicht zulassen: /wp-json/ Nicht zulassen: /wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: /template.html Nicht zulassen: /wp- admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen: /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /*?replytocom* Nicht zulassen: /comment- page* Nicht zulassen: */tag/* Nicht zulassen: /tag/* Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */embed Nicht zulassen: /?s= Nicht zulassen : /?p= Nicht zulassen: *.php Nicht zulassen: /ads.txt Nicht zulassen: */stylesheet Nicht zulassen: */stylesheet* Erlauben: /wp-content/uploads/ Erlauben: /wp-includes Erlauben: /wp-content Erlauben: */uploads Erlauben: /*/*.js Erlauben: /*/*.css Erlauben: /wp-*.png Erlauben: /wp-*.jpg Erlauben: /wp-*.jpeg Erlauben: /wp-*. gif Erlauben: /wp-admin/admin-ajax.php Benutzeragent: ia_archiver Nicht zulassen: /wp-json/ Nicht zulassen: /wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: / template.html Nicht zulassen: /wp-admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen: /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /* ?replytocom* Nicht zulassen: /comment-page* Nicht zulassen: */tag/* Nicht zulassen: /tag/* Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */ Embed Disallow: /?s= Disallow: /?p= Disallow: *.php Disallow: /ads.txt Disallow: */stylesheet Disallow: */stylesheet* Allow: */?amp Allow: /wp-content/uploads/ Zulassen: /wp-includes Zulassen: /wp-content Zulassen: */uploads Zulassen: /*/*.js Zulassen: /*/*.css Zulassen: /wp-*.png Zulassen: /wp-*.jpg Zulassen : /wp-*.jpeg Zulassen: /wp-*.gif Zulassen: /wp-admin/admin-ajax.php Benutzeragent: SputnikBot Nicht zulassen: /wp-json/ Nicht zulassen: /wp-login.php Nicht zulassen: / wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: /template.html Nicht zulassen: /wp-admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen : /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /*?replytocom* Nicht zulassen: /comment-page* Nicht zulassen: */tag/* Nicht zulassen: /tag/* Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */embed Nicht zulassen: /?s= Nicht zulassen: /?p= Nicht zulassen: *.php Nicht zulassen: /ads.txt Nicht zulassen: */stylesheet Nicht zulassen: */stylesheet* Zulassen : */?amp Erlauben: /wp-content/uploads/ Erlauben: /wp-includes Erlauben: /wp-content Erlauben: */uploads Erlauben: /*/*.js Erlauben: /*/*.css Erlauben: / wp-*.png Erlauben: /wp-*.jpg Erlauben: /wp-*.jpeg Erlauben: /wp-*.gif Erlauben: /wp-admin/admin-ajax.php Benutzeragent: Bingbot Nicht zulassen: /wp -json/ Nicht zulassen: /wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: /template.html Nicht zulassen: /wp-admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen: /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /*?replytocom* Nicht zulassen: /comment-page* Nicht zulassen: */tag/* Nicht zulassen: /tag/ * Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */embed Nicht zulassen: /?s= Nicht zulassen: /?p= Nicht zulassen: *.php Nicht zulassen: /ads .txt Nicht zulassen: */stylesheet Nicht zulassen: */stylesheet* Erlauben: */?amp Erlauben: /wp-content/uploads/ Erlauben: /wp-includes Erlauben: /wp-content Erlauben: */uploads Erlauben: /*/ *.js Erlauben: /*/*.css Erlauben: /wp-*.png Erlauben: /wp-*.jpg Erlauben: /wp-*.jpeg Erlauben: /wp-*.gif Erlauben: /wp-admin/ admin-ajax.php Benutzeragent: Googlebot Nicht zulassen: /wp-json/ Nicht zulassen: /wp-login.php Nicht zulassen: /wp-register.php Nicht zulassen: /xmlrpc.php Nicht zulassen: /template.html Nicht zulassen: /wp- admin Nicht zulassen: */trackback Nicht zulassen: */comments* Nicht zulassen: *comments_* Nicht zulassen: /search Nicht zulassen: /author/* Nicht zulassen: /users/ Nicht zulassen: /*?replytocom Nicht zulassen: /*?replytocom* Nicht zulassen: /comment- page* Nicht zulassen: */tag/* Nicht zulassen: /tag/* Nicht zulassen: /?s=* Nicht zulassen: /?s= Nicht zulassen: */feed Nicht zulassen: */rss Nicht zulassen: */embed Nicht zulassen: /?s= Nicht zulassen : /?p= Nicht zulassen: *.php Nicht zulassen: */stylesheet Nicht zulassen: */stylesheet* Erlauben: */?amp Erlauben: */*/?amp Erlauben: */tag/?amp Erlauben: */page/? amp Erlauben: /wp-content/uploads/ Erlauben: /wp-includes Erlauben: /wp-content Erlauben: */uploads Erlauben: /*/*.js Erlauben: /*/*.css Erlauben: /wp-*. png Erlauben: /wp-*.jpg Erlauben: /wp-*.jpeg Erlauben: /wp-*.gif Erlauben: /wp-admin/admin-ajax.php Benutzeragent: Googlebot-Image Erlauben: /wp-content /uploads/ Benutzeragent: Yandex-Images Erlauben: /wp-content/uploads/ Benutzeragent: Mail.Ru-Images Erlauben: /wp-content/uploads/ Benutzeragent: ia_archiver-Images Erlauben: /wp-content /uploads/ Benutzeragent: Bingbot-Images Erlauben: /wp-content/uploads/ Host: https://nicola.top Sitemap: https://nicola.top/sitemap_index.xml Sitemap: https://nicola.top /?feed=googleimagesitemap

Ich hoffe, dass es für Sie nützlich sein wird. Bitte wenden Sie die Regeln entsprechend Ihren Standortüberlegungen an. Jede Ressource sollte ihren eigenen Ansatz haben.

Im Moment ist meine Datei auf generisch gekürzt. Sie können sich unter nicola.top/robots.txt damit vertraut machen

So erstellen Sie eine Robots.txt-Datei mithilfe von Onlinediensten

Diese Methode ist die einfachste und schnellste und eignet sich für diejenigen, die Angst haben, Robots.txt selbst zu erstellen, oder einfach nur faul sind. Es gibt viele Dienste, die die Erstellung dieser Datei anbieten. Es lohnt sich jedoch, einige Nuancen dieser Methode zu berücksichtigen. Z.B:

• Es ist notwendig, im Voraus zu überlegen, was Sie dem Agenten genau verbieten oder erlauben möchten.
• Vor dem Hochladen auf die Website ist eine obligatorische Überprüfung der fertigen Datei erforderlich.
• Seien Sie vorsichtig, denn eine falsch erstellte Robots.txt-Onlinedatei führt zu einer bedauerlichen Situation. Somit können technische und andere Seiten der Website in die Suche einbezogen werden, die a priori nicht vorhanden sein sollten.
• Dennoch ist es besser, Zeit und Mühe in die Erstellung eines korrekten benutzerdefinierten Roboters zu investieren. Auf diese Weise können Sie eine fundierte und für Ihre Website geeignete Struktur von Verboten und Erlaubnissen nachbilden.

Bearbeiten und korrekte Syntax der Datei Robots.txt

Nachdem Sie Robots.txt erfolgreich erstellt haben, können Sie es ganz einfach nach Ihren Wünschen bearbeiten und ändern. In diesem Fall sollten einige Regeln und eine kompetente Syntax berücksichtigt werden. Mit der Zeit werden Sie diese Datei immer wieder ändern. Vergessen Sie jedoch nicht, dass Sie diese Datei nach der Bearbeitung auf die Website hochladen müssen. Daher wird der Inhalt für Suchroboter aktualisiert.

Das Schreiben von Robots.txt ist sehr einfach, der Grund dafür ist die recht einfache Struktur des Designs dieser Datei. Beim Schreiben von Regeln kommt es vor allem darauf an, eine streng definierte Syntax zu verwenden. Diese Regeln werden von fast allen großen PS freiwillig befolgt. Hier ist eine Liste einiger Regeln, um die meisten Fehler in der Robots.txt-Datei zu vermeiden:

1. In einer Zeile darf nicht mehr als eine angegebene Direktive stehen.
2. Jede Regel beginnt in einer neuen Zeile;
3. Ein Leerzeichen am Anfang einer Zeile wurde entfernt;
4. Kommentare sind nach dem Zeichen # erlaubt;
5. Leere Roboter gelten als vollständige Indizierungsberechtigung;
6. Der Name dieser Datei ist nur im gültigen Format „robots“ möglich;
7. Die Dateigröße sollte 32 KB nicht überschreiten;
8. In den Allow- und Disallow-Anweisungen ist nur eine Regel zulässig. Ein leerer Wert nach Allow: oder Disallow: entspricht einer vollständigen Berechtigung;
9. Alle Regeln müssen in Kleinbuchstaben geschrieben werden;
10. Die Datei muss immer verfügbar sein;
11. Eine leere Zeile nach den angegebenen Regeln zeigt das vollständige Ende der Regeln der User-Agent-Direktive an;
12. Es ist wünschenswert, die Regeln für jedes PS separat vorzuschreiben;
13. Wenn es sich bei der Regel um ein Site-Verzeichnis handelt, stellen Sie sicher, dass vor dem Anfang ein Schrägstrich (/) steht.
14. Eine Zeichenfolge oder eine Regel sollte keine Anführungszeichen enthalten.
15. Es ist notwendig, eine strenge Regelstruktur zu berücksichtigen, die nicht mehr zu Ihrer Website passt.
16. Robots.txt sollte minimalistisch sein und die beabsichtigte Bedeutung klar vermitteln;

Richtige Konfiguration der Robots.txt-Datei – korrekte Schreibweise der Befehle

Um beim Einsatz von Robotern ein positives Ergebnis zu erzielen, müssen Sie diese richtig konfigurieren. Alle Hauptbefehle dieser Datei mit Anweisungen werden von den größten Suchmaschinen Google und Yandex befolgt. Andere PSs ignorieren möglicherweise einige Anweisungen. Wie kann robots.txt für die meisten Suchmaschinen reaktionsfähiger gemacht werden? Hier müssen Sie die Grundregeln für die Arbeit mit dieser Datei verstehen, die oben besprochen wurden.
Betrachten Sie die grundlegenden Befehle:

• User-Agent: * – Die Anweisungen gelten für absolut alle PS-Bots. Es ist auch möglich, bestimmte Suchmaschinen separat anzugeben, zum Beispiel: User-Agent: GoogleBot und User-Agent: YandexBot. Somit sind die Regeln für wichtige PSs korrekt bezeichnet.
• Nicht zulassen: - Verbietet das Crawlen und Indizieren (einer Seite, eines Verzeichnisses oder von Dateien) vollständig.
• erlauben: - Ermöglicht das Crawlen und Indizieren (einer Seite, eines Verzeichnisses oder von Dateien) vollständig.
• Parameter bereinigen: – erforderlich, um Seiten mit dynamischem Inhalt auszuschließen. Dank dieser Regel können Sie doppelte Inhalte auf der Website entfernen.
• Crawl-Verzögerung: – Die Regel gibt das Zeitintervall an, in dem P-Bots Dokumente von der Site herunterladen. Ermöglicht Ihnen, die Belastung des Servers erheblich zu reduzieren. Beispiel: „Crawl-delay: 5“ teilt dem N-Robot mit, dass das Herunterladen von Dokumenten von der Website höchstens einmal alle 5 Sekunden möglich ist.
• Host: your_site.ru - Verantwortlich für den Hauptspiegel der Website. In dieser Anweisung müssen Sie die Prioritätsversion der Site angeben.
• Sitemap: http://your_site.ru/sitemap.xml – Wie Sie vielleicht erraten haben, informiert diese Anweisung den P-Bot über das Vorhandensein einer Sitemap auf der Website.
• # - Ermöglicht das Hinterlassen von Kommentaren. Sie können nur nach dem Nummernzeichen kommentieren. Es kann sowohl in einer neuen Zeile als auch als Fortsetzung der Direktive platziert werden. Alle diese Optionen werden von Bots bei der Weitergabe von Anweisungen ignoriert.

So überprüfen Sie Robots.txt mit Google oder Yandex

Seltsamerweise werden nur die Webmaster-Panels von Google oder Yandex benötigt, um diese Datei zu überprüfen. Was wiederum das Auffinden von Fehlern deutlich erleichtert.

• Google Webmaster – wählen Sie im linken Menü „Scannen“ und dann die Registerkarte „Robots.txt File Check Tool“. Fügen Sie dann in der unteren Zeile des angezeigten Fensters den Namen der Datei hinzu. Klicken Sie dann auf „Überprüfen“ und sehen Sie, wie der Google-Bot Ihre Roboter sieht.
• Yandex Webmaster – wählen Sie im linken Menü „Extras“ und „Analyse von Robots.txt“. Klicken Sie anschließend im erscheinenden Fenster einfach auf die Schaltfläche „Prüfen“.

Es ist erwähnenswert, dass es viele Online-Validatoren zur Überprüfung dieser Datei gibt. Ich habe über die günstigsten gesprochen, die immer zur Hand sind.

Abschluss

Es ist unmöglich, einen perfekten Roboter für alle Websites zu schreiben. Der Grund dafür sind die Seiten selbst, die zum Teil von Hand erstellt werden und zum Teil auf unterschiedlichen CMS liegen. Absolut alle Websites haben eine andere Verzeichnisstruktur und andere Dinge.

Daher ist jeder Webmaster lediglich verpflichtet, seine eigenen, einzigartigen Regeln für P-Bots zu erstellen. Eine solche Datei entspricht Ihren Prioritäten und ermöglicht es Ihnen nicht, sich auf die Suche nach vertraulichen Informationen zu begeben. Dadurch enthält der Index qualitativ hochwertige Inhalte ohne unnötigen Müll. Ich empfehle Ihnen, auch die notwendigen Weiterleitungen auf Ihrer Website einzurichten. Dadurch werden Duplikate vermieden und das Gewicht auf die erforderlichen Seiten verlagert.

Lesen dieses Artikels:

• Was ist technisches SEO bei Google? Best-Practice-Leitfaden
• Zwischenspeichern von Site-Seiten mit .htaccess – Cache

Danke fürs Lesen: SEO HELPER | NICOLA.TOP