Hogyan készítsünk robots.txt fájlt egy webhelyhez – helyes robotok

nyomtatás · Время на чтение: 11мин · Автор: · Опубликовано · Обновлено

szaporodniHallgassa meg a cikket

Robots.txt fájl létrehozása.

Részletes utasítások a hogyan lehet robots.txt fájlt létrehozni oldalhoz. A Robots.txt az egyik legszükségesebb szempont az oldal teljes értékű keresőoptimalizálásához a webhely biztonságát. A fájl megfelelő használatának feltételeinek betartásával bizonyos pozitív hatást érhet el a webhelyen.

A legtöbb PS-hez többféle utasítás is megadható. Amelyek jelzik a keresőbot számára a szükséges korlátozásokat vagy engedélyeket oldalak, könyvtárak vagy webhelyrészek beolvasása.

Robots.txt fájl – alapvető definíció

Robots.txt - rendelkezik bizonyos kivételes szabványokkal a keresőügynökökre (botokra), amelyeket 1944 januárjában fogadtak el. A fájl olyan, mint egy fájl .htaccess (a szabályokat is előírja). Ennek a fájlnak a szabályait a leggyakoribb PS önkéntesen követi. A fájl egy vagy több szabályból állhat, amelyek mindegyike blokkolja vagy lehetővé teszi a bejáró számára a webhely bizonyos elérési útjait.

Alapértelmezés szerint ez a fájl nem található a webhelyen – ami minden PS-nek teljes engedélyt ad a webhely teljes tartalmának indexelésére. Az ilyen engedély a webhely olyan fontos technikai oldalainak felvételét eredményezheti a keresőmotor indexébe, amelyeknek nem szabad ott lennie.

Miért van szükségünk a Robots.txt fájlra az oldalon – ennek hatása a keresőmotorokban való promócióra

A Robots.txt a webhely keresőoptimalizálásának legfontosabb tényezője. A keresőrobotokra vonatkozó megfelelően megírt szabályrendszernek köszönhetően bizonyos mértékű növekedést érhet el egy webhely keresési rangsorában. Mit adnak ezek az utasítások:

  1. A webhely bizonyos oldalainak, szakaszainak, könyvtárainak indexeléséhez zárolva;
  2. Hasznos tartalmat nem tartalmazó oldalak kizárása;
  3. Az ismétlődő oldalak megszüntetése és így tovább.

A legtöbb webhely esetében az indexelési korlátozások egyszerűen szükségesek, a kis, teljes oldalas webhelyek opcionálisak. Bizonyos irányelveket azonban minden webhelyhez hozzá kell adni. Például az indexelés tilalma:

  1. Regisztrációs oldalak, admin bejelentkezés, jelszó visszaállítás;
  2. Műszaki katalógusok;
  3. Rss - webhely feedek;
  4. Replytocom és így tovább.

Hogyan hozhat létre saját kezűleg egy Robors.txt fájlt, valamint példákat

A Robots.txt fájl létrehozásával kapcsolatos nehézségek még a kezdők számára sem merülhetnek fel. Elegendő egy bizonyos műveletsort követni:

  1. A Robots.txt egy szöveges dokumentum, amelyet bármely elérhető szövegszerkesztő hozza létre;
  2. A fájl kiterjesztésének .txt-nek kell lennie;
  3. A név kötelező robotok;
  4. Webhelyenként csak egy ilyen fájl engedélyezett;
  5. Csak a webhely gyökérkönyvtárában van elhelyezve;

Használnia kell egy közönséges szövegszerkesztőt (alternatívaként a jegyzettömböt). Létrehozunk egy .txt dokumentumot robotok néven. Ezután ezt a dokumentumot FTP kliens segítségével mentjük és továbbítjuk a webhely gyökérkönyvtárába. Ezek a követendő fő lépések.

Példák a szabványos Robots.txt fájlra a népszerű CMS-ekhez

Robots.txt példa az amiro.cms fájlhoz:

robots.txt az amiro.cms számára.

Példa a robots.txt fájlra a bitrixhez:

robots.txt a bitrix számára.

robots.txt a bitrix1-hez.

Robots.txt példa a dle-hez:

robots.txt a dle-hez.

Drupal robots.txt példa:

robots.txt a drupal számára.

robots.txt a drupal1 számára.

Robots.txt példa a hostcms-hez:

robots.txt a hostcms számára.

Robots.txt példa a joomla3-hoz:

robots.txt a joomla3 számára.

Példa robots.txt fájlhoz a joomla számára:

robots.txt a joomla számára.

Robots.txt példa a modx evo-hoz:

robots.txt a modx evo-hoz.

Robots.txt példa a modx-hez:

robots.txt a modx-hez.

Robots.txt példa a netcathez:

robots.txt a netcat számára.

Robots.txt példa opencat fájlhoz:

robots.txt az opencat fájlhoz.

Robots.txt példa a 3. típushibához:

robots.txt a 3. elíráshoz.

Robots.txt példa az umi számára:

robots.txt az umi számára.

Példa robots.txt fájlhoz a WordPresshez:

robots.txt a WordPresshez.

Íme egy példa a WordPress CMS webhelyfájlomra:

# robots.txt
User-Agent: *
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */amp
Disallow: */amp?
Disallow: */amp/
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Mail.Ru
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: ia_archiver
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: SputnikBot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Bingbot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: */*/?amp
Allow: */tag/?amp
Allow: */page/?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Yandex-Images
Allow: /wp-content/uploads/

User-agent: Mail.Ru-Images
Allow: /wp-content/uploads/

User-agent: ia_archiver-Images
Allow: /wp-content/uploads/

User-agent: Bingbot-Images
Allow: /wp-content/uploads/


Host: https://nicola.top
Sitemap: https://nicola.top/sitemap_index.xml
Sitemap: https://nicola.top/?feed=googleimagesitemap

Remélem, hogy hasznos lesz számodra. Kérjük, alkalmazza a szabályokat a webhely szempontjai szerint. Minden erőforrásnak saját megközelítéssel kell rendelkeznie.

Jelenleg a fájlom általánosra van rövidítve. Megismerkedhetsz vele a nicola.top/robots.txt oldalon

Robots.txt fájl létrehozása online szolgáltatások segítségével

Ez a módszer a legegyszerűbb és leggyorsabb, azoknak megfelelő, akik félnek önállóan létrehozni a Robots.txt fájlt, vagy egyszerűen lusták. Számos szolgáltatás kínálja ennek a fájlnak a létrehozását. De érdemes figyelembe venni néhány árnyalatot ezzel a módszerrel kapcsolatban. Például:

  • Előzetesen figyelembe kell venni, hogy pontosan mit akar megtiltani vagy engedélyezni az ügynöknek.
  • A kész fájl kötelező ellenőrzése szükséges, mielőtt feltölti az oldalra.
  • Legyen óvatos, mert egy helytelenül létrehozott Robots.txt online fájl sajnálatos helyzethez vezet. Így az oldal technikai és egyéb oldalai, amelyeknek eleve nem kellene ott lenniük, bekerülhetnek a keresésbe.
  • Mindazonáltal jobb időt és erőfeszítést költeni egy megfelelő egyedi robot létrehozására. Ily módon újra létrehozhatja a webhelyének megfelelő tilalmak és engedélyek jól megalapozott struktúráját.

A Robots.txt fájl szerkesztése és szintaxisának helyesbítése

A Robots.txt sikeres létrehozása után tetszés szerint szerkesztheti és módosíthatja. Ebben az esetben figyelembe kell venni néhány szabályt és az illetékes szintaxist. Idővel ezt a fájlt többször módosítani fogja. De ne felejtse el, hogy a szerkesztés után fel kell töltenie ezt a fájlt a webhelyre. Így a tartalom frissítése a keresőrobotok számára.

A Robots.txt megírása nagyon egyszerű, ennek oka a fájl meglehetősen egyszerű felépítése. A szabályok írásakor a legfontosabb dolog egy szigorúan meghatározott szintaxis használata. Ezeket a szabályokat szinte minden jelentősebb PS önként betartja. Íme egy lista néhány szabályról, amellyel elkerülhető a legtöbb hiba a Robots.txt fájlban:

  1. Egy sorban nem lehet több meghatározott direktíva;
  2. Minden szabály új sorban kezdődik;
  3. A sor elején lévő szóköz eltávolítva;
  4. Megjegyzések az # karakter után megengedettek;
  5. Az üres robotok teljes indexelési engedélynek számítanak;
  6. Ennek a fájlnak a neve csak érvényes „robots” formátumban lehetséges;
  7. A fájl mérete nem haladhatja meg a 32 kb-ot;
  8. Csak egy szabály megengedett az Allow és Disallow direktívákban. Egy üres érték az Allow: vagy Disallow: után a teljes jogosultsággal egyenértékű;
  9. Minden szabályt kisbetűvel kell írni;
  10. A fájlnak mindig elérhetőnek kell lennie;
  11. A megadott szabályok utáni üres sor a User-agent direktíva szabályainak teljes végét jelzi;
  12. Kívánatos minden egyes PS-re külön előírni a szabályokat;
  13. Ha a szabály egy webhelykönyvtár, akkor ügyeljen arra, hogy egy perjelet (/) tegyen a kezdete elé;
  14. A karakterláncban vagy a szabályban nem lehetnek idézőjelek;
  15. Figyelembe kell venni a szabályok szigorú felépítését, amely többé nem egyezik az Ön webhelyével;
  16. A Robots.txt fájlnak minimalistanak kell lennie, és egyértelműen közvetítenie kell a szándékolt jelentést;

A Robots.txt fájl megfelelő beállítása – a parancsok helyesírása

Ahhoz, hogy pozitív eredményt kapjon a robotok használatakor, megfelelően be kell állítania azt. Ennek a fájlnak az összes fő parancsát utasításokkal követik a legnagyobb keresőmotorok, a Google és a Yandex. Más PS-ek figyelmen kívül hagyhatnak bizonyos utasításokat. Hogyan lehet a robots.txt fájlt jobban reagálni a legtöbb keresőmotorra? Itt meg kell értenie a fájllal való munka alapvető szabályait, amelyeket fent tárgyaltunk.
Fontolja meg az alapvető parancsokat:

  • Felhasználói ügynök: * - az utasítások abszolút minden ps-botra vonatkoznak. Lehetőség van bizonyos keresőmotorok külön megadására is, például: User-Agent: GoogleBot és User-Agent: YandexBot. Így a fontos PS-ekre vonatkozó szabályok helyesen vannak kijelölve.
  • Letiltás: - teljes mértékben tiltja a feltérképezést és az indexelést (oldal, könyvtár vagy fájlok).
  • lehetővé teszi: - teljes mértékben lehetővé teszi (oldal, könyvtár vagy fájlok) feltérképezését és indexelését.
  • Tiszta paraméter: - a dinamikus tartalmú oldalak kizárásához szükséges. Ennek a szabálynak köszönhetően megszabadulhat az ismétlődő tartalomtól a webhelyen.
  • Feltérképezési késleltetés: - a szabály meghatározza azt az időintervallumot, amikor a p-botok letölthetik a dokumentumokat a webhelyről. Lehetővé teszi a szerver terhelésének jelentős csökkentését. Például: „Feltérképezési késleltetés: 5” jelzi az n-robotnak, hogy a dokumentumok letöltése a webhelyről legfeljebb 5 másodpercenként lehetséges.
  • Gazda: your_site.ru - Felelős a fő helyszíni tükörért. Ebben az irányelvben meg kell adnia a webhely elsőbbségi verzióját.
  • Webhelytérkép: http://your_site.ru/sitemap.xml - ahogy sejtheti, ez a direktíva megmondja a p-botnak a Webhelytérkép elérhetőségéről Online.
  • # - lehetővé teszi megjegyzések írását. Hozzászólni csak a font jel után lehet. Új vonalra és az irányelv folytatásaként is elhelyezhető. A robotok figyelmen kívül hagyják ezeket a lehetőségeket az utasítások átadásakor.

A Robots.txt ellenőrzése a Google vagy a Yandex segítségével

Furcsa módon csak a Google vagy a Yandex webmesteri paneljei szükségesek a fájl ellenőrzéséhez. Ez viszont sokkal könnyebbé teszi a hibák megtalálását.

  • Google Webmester – a bal oldali menüben válassza a „Szkennelés”, majd a „Robots.txt fájlellenőrző eszköz” fület. Ezután a megjelenő ablak alsó sorába írja be a fájl nevét. Ezután kattintson az "Ellenőrzés" gombra, és nézze meg, hogyan látja a Google bot a robotjait.
  • Yandex Webmester - a bal oldali menüben válassza az "Eszközök" és a "Robots.txt elemzése" lehetőséget. Ezután a megjelenő ablakban egyszerűen kattintson az „Ellenőrzés” gombra.

Érdemes megjegyezni, hogy számos online érvényesítő létezik a fájl ellenőrzésére. A legolcsóbbakról beszéltem, amelyek mindig kéznél vannak.

Következtetés

Lehetetlen egyetlen tökéletes robotot írni minden oldalra. Ennek oka maguk a webhelyek, amelyek egy része kézzel készült, mások pedig különböző CMS-eken találhatók. Abszolút minden webhely más könyvtárszerkezettel és egyéb dolgokkal rendelkezik.

Ezért minden webmester egyszerűen köteles megalkotni a saját egyedi szabályait a p-botokra vonatkozóan. Egy ilyen fájl megfelel az Ön prioritásainak, és nem teszi lehetővé, hogy bizalmas információk keresésébe lépjen. Ennek köszönhetően az index jó minőségű tartalmat fog tartalmazni felesleges szemét nélkül. Azt javaslom, hogy a szükséges átirányításokat is állítsa be a webhelyén. Ez elkerüli a duplikációkat, és súlyt helyez át a szükséges oldalakra.

Köszönjük, hogy elolvasta Nicola Topot

Mennyire hasznos a poszt?

Kattintson a smiley-ra az értékeléshez!

átlagos értékelés 5 / 5. Értékelések száma: 81

Még nincsenek értékelések. Értékelje először.

Читайте также:

1 válasz

  1. Alycia szerint:

    Élvezem, mert pontosan azt találtam, amit régen kerestem.
    Véget ért a négynapos vadászatom! Isten éltessen ember. Szép napot.
    Viszlát

Добавить комментарий

Az e-mail címet nem tesszük közzé. Обязательные поля помечены *

9 + húsz =