Kuidas luua veebilehe jaoks faili robots.txt – õiged robotid

Kuulake seda artiklit

Üksikasjalikud juhised kuidas luua faili robots.txt saidi jaoks. Robots.txt on saidi täieõigusliku otsingumootori optimeerimise ja teie saidi turvalisuse üks olulisemaid aspekte. Järgides selle faili õige kasutamise tingimusi, saate saidil saavutada teatud positiivse mõju.

Enamiku PS-ide jaoks on võimalik määrata mitmesuguseid juhiseid. Mis näitavad otsingubotile saidi lehtede, kataloogide või jaotiste skannimiseks vajalikke piiranguid või õigusi.

Artikli sisu:

• Robots.txt faili põhidefinitsioon
• Miks on saidil faili Robots.txt vaja – selle mõju otsingumootorite reklaamimisele
• Kuidas ise faili Robors.txt luua pluss näited
• Kuidas luua veebiteenuste abil faili Robots.txt
• Faili Robots.txt redigeerimine ja süntaksi parandamine
• Faili Robots.txt õige konfiguratsioon – käskude õigekiri
• Järeldus

Fail Robots.txt – põhimääratlus

Robots.txt - sellel on teatud erandistandardid otsinguagentide (bottide) jaoks, mis võeti vastu 1944. aasta jaanuaris. Fail meenutab mõneti .htaccess faili (sellesse on ka reeglid sisse kirjutatud). Selle faili reegleid järgib vabatahtlikult kõige levinum PS. Fail võib koosneda ühest või mitmest reeglist, millest igaüks blokeerib või võimaldab roomajal juurdepääsu saidi teatud teedele.

Vaikimisi seda faili saidil ei ole – see annab kõigile PS-dele täieliku loa kogu saidi sisu indekseerida. Selline luba võib kaasa tuua saidi oluliste tehniliste lehtede lisamise otsingumootori registrisse, mis ei tohiks seal olla.

Miks me vajame saidil faili Robots.txt – selle mõju reklaamidele otsingumootorites

Robots.txt on saidi otsingumootoritele optimeerimisel kõige olulisem tegur. Tänu korralikult kirjutatud reeglistikule otsingurobotite jaoks saate saavutada teatud tõusu saidi asetuses otsingus. Mida need juhised annavad:

1. Lukustatud saidi teatud lehtede, jaotiste, kataloogide indekseerimiseks;
2. Kasulikku sisu mittesisaldavate lehtede välistamine;
3. Dubleerivate lehtede kõrvaldamine ja palju muud.

Enamiku saitide jaoks on sellised indekseerimispiirangud lihtsalt vajalikud; väikesed täisleheküljelised saidid on valikulised. Igale saidile tuleb aga lisada teatud direktiivid. Näiteks indekseerimise keelud:

1. Registreerimislehed, administraatori sisselogimine, parooli taastamine;
2. Tehnilised kataloogid;
3. Rss - saidi kanalid;
4. Replytocom ja palju muud.

Kuidas ise faili Robors.txt luua pluss näited

Faili Robots.txt loomisel ei teki raskusi isegi algajatel. Piisab teatud toimingute jada järgimisest:

1. Robots.txt on tekstidokument ja selle loovad kõik saadaolevad tekstiredaktorid;
2. Faililaiend peab olema .txt;
3. Nimi on kohustuslikud robotid;
4. Ühe saidi kohta on lubatud ainult üks selline fail;
5. Paigutatud ainult saidi juurkataloogi;

Peate kasutama tavalist tekstiredaktorit (alternatiivina märkmikku). Loome .txt dokumendi nimega robotid. Seejärel salvestame ja edastame selle dokumendi FTP-kliendi abil saidi juurkataloogi. Need on peamised sammud, mida järgida.

Populaarse CMS-i standardse Robots.txt näited

Robots.txt näide amiro.cms jaoks:

Fati robots.txt näide bitrixi jaoks:

Faili Robots.txt näide dle jaoks:

Drupali robots.txt näide:

Robots.txt näide hostcms-i jaoks:

Robots.txt näide joomla3 jaoks:

Joomla faili robots.txt näide:

Faili Robots.txt näide modx evo jaoks:

Robots.txt näide modx jaoks:

Robots.txt näide netcati jaoks:

Robots.txt näide opencat jaoks:

Robots.txt näide 3. trükiviga jaoks:

Robots.txt näide umi jaoks:

WordPressi faili robots.txt näide:

Siin on näide minu WordPressi CMS-i saidifailist:

# robots.txt kasutajaagent: * Keela: /wp-json/ Disallow: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: /template.html Keela: /wp-admin Disallow: */trackback Keela: */comments* Disallow: *comments_* Disallow: /search Keela: /autor/* Keela: /users/ Keela: /*?replytocom Keela: /*?replytocom* Keela: /comment-page * Keela: */tag/* Keela: /tag/* Disallow: /?s=* Keela: /?s= Keela: */feed Disallow: */rss Keela: */embed Keela: /?p= Keela: /?p= Keela: *.php Disallow: /ads.txt Keela: */stylesheet Keela: */stylesheet* Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */uploads Luba: /* /*.js Luba: /*/*.css Luba: /wp-*.png Luba: /wp-*.jpg Luba: /wp-*.jpeg Luba: /wp-*.gif Luba: /wp-admin /admin-ajax.php Kasutajaagent: Yandex Disallow: /wp-json/ Keela: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: /template.html Keela: /wp -admin Disallow: */trackback Keela: */comments* Keela: *comments_* Keela: /search Keela: /autor/* Keela: /users/ Keela: /*?replytocom Keela: /*?replytocom* Disallow: /comment -leht* Keela: */tag/* Keela: /tag/* Disallow: /?s=* Keela: /?s= Keela: */feed Disallow: */rss Keela: */embed Keela: /?s= Disallow: /?p= Keela: *.php Keela: /ads.txt Keela: */amp Keela: */amp? Keela: */amp/ Disallow: */stylesheet Keela: */stylesheet* Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */üleslaadimised Luba: /*/*. js Luba: /*/*.css Luba: /wp-*.png Luba: /wp-*.jpg Luba: /wp-*.jpeg Luba: /wp-*.gif Luba: /wp-admin/admin- ajax.php Kasutajaagent: Mail.Ru Disallow: /wp-json/ Keela: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: /template.html Keela: /wp- admin Keela: */trackback Keela: */comments* Disallow: *comments_* Keela: /search Keela: /autor/* Keela: /users/ Keela: /*?replytocom Keela: /*?replytocom* Disallow: /comment- leht* Keela: */tag/* Keela: /tag/* Disallow: /?s=* Keela: /?s= Keela: */feed Disallow: */rss Keela: */embed Keela: /?s= Keela : /?p= Keela: *.php Keela: /ads.txt Keela: */stylesheet Keela: */stylesheet* Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */uploads Luba: /*/*.js Luba: /*/*.css Luba: /wp-*.png Luba: /wp-*.jpg Luba: /wp-*.jpeg Luba: /wp-*. gif Luba: /wp-admin/admin-ajax.php Kasutajaagent: ia_archiver Keela: /wp-json/ Keela: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: / template.html Keela: /wp-admin Keela: */trackback Keela: */comments* Disallow: *comments_* Keela: /search Keela: /author/* Keela: /users/ Keela: /*?replytocom Keela: /* ?replytocom* Disallow: /comment-page* Disallow: */tag/* Keela: /tag/* Keela: /?s=* Keela: /?s= Keela: */feed Keela: */rss Keela: */ embed Disallow: /?s= Keela: /?p= Keela: *.php Keela: /ads.txt Keela: */stylesheet Keela: */stylesheet* Luba: */?amp Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */uploads Luba: /*/*.js Luba: /*/*.css Luba: /wp-*.png Luba: /wp-*.jpg Luba : /wp-*.jpeg Luba: /wp-*.gif Luba: /wp-admin/admin-ajax.php Kasutajaagent: SputnikBot Keela: /wp-json/ Keela: /wp-login.php Keela: / wp-register.php Keela: /xmlrpc.php Keela: /template.html Keela: /wp-admin Keela: */trackback Keela: */comments* Disallow: *comments_* Keela: /search Keela: /author/* Disallow : /users/ Disallow: /*?replytocom Keela: /*?replytocom* Keela: /comment-page* Keela: */tag/* Keela: /tag/* Keela: /?s=* Keela: /?s= Disallow: */feed Disallow: */rss Keela: */embed Disallow: /?s= Keela: /?p= Keela: *.php Keela: /ads.txt Keela: */stylesheet Keela: */stylesheet* Luba : */?amp Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */uploads Luba: /*/*.js Luba: /*/*.css Luba: / wp-*.png Luba: /wp-*.jpg Luba: /wp-*.jpeg Luba: /wp-*.gif Luba: /wp-admin/admin-ajax.php Kasutajaagent: Bingbot Keela: /wp -json/ Disallow: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: /template.html Keela: /wp-admin Keela: */trackback Keela: */comments* Keela: *comments_* Disallow: /search Keela: /autor/* Disallow: /users/ Disallow: /*?replytocom Disallow: /*?replytocom* Disallow: /comment-page* Keela: */tag/* Keela: /tag/ * Keela: /?s=* Keela: /?s= Keela: */feed Disallow: */rss Disallow: */embed Disallow: /?s= Keela: /?p= Keela: *.php Keela: /ads .txt Disallow: */stylesheet Keela: */stylesheet* Luba: */?amp Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */uploads Luba: /*/ *.js Luba: /*/*.css Luba: /wp-*.png Luba: /wp-*.jpg Luba: /wp-*.jpeg Luba: /wp-*.gif Luba: /wp-admin/ admin-ajax.php Kasutajaagent: Googlebot Keela: /wp-json/ Keela: /wp-login.php Keela: /wp-register.php Keela: /xmlrpc.php Keela: /template.html Keela: /wp- admin Keela: */trackback Keela: */comments* Disallow: *comments_* Keela: /search Keela: /autor/* Keela: /users/ Keela: /*?replytocom Keela: /*?replytocom* Disallow: /comment- leht* Keela: */tag/* Keela: /tag/* Disallow: /?s=* Keela: /?s= Keela: */feed Disallow: */rss Keela: */embed Keela: /?s= Keela : /?p= Keela: *.php Keela: */stylesheet Keela: */stylesheet* Luba: */?amp Luba: */*/?amp Luba: */tag/?amp Luba: */page/? amp Luba: /wp-content/uploads/ Luba: /wp-includes Luba: /wp-content Luba: */uploads Luba: /*/*.js Luba: /*/*.css Luba: /wp-*. png Luba: /wp-*.jpg Luba: /wp-*.jpeg Luba: /wp-*.gif Luba: /wp-admin/admin-ajax.php Kasutajaagent: Googlebot-Image Luba: /wp-content /uploads/ Kasutajaagent: Yandex-Images Luba: /wp-content/uploads/ Kasutajaagent: Mail.Ru-Images Luba: /wp-content/uploads/ Kasutajaagent: ia_archiver-Images Luba: /wp-content /uploads/ Kasutajaagent: Bingbot-Images Luba: /wp-content/uploads/ Host: https://nicola.top Saidiplaan: https://nicola.top/sitemap_index.xml Saidiplaan: https://nicola.top /?feed=googleimagesitemap

Loodan, et see on teile kasulik. Rakendage reegleid vastavalt oma saidi kaalutlustele. Igal ressursil peaks olema oma lähenemisviis.

Hetkel on minu fail lühendatud üldiseks. Sellega saate tutvuda minnes aadressile nicola.top/robots.txt

Kuidas luua veebiteenuste abil faili Robots.txt

See meetod on kõige lihtsam ja kiirem, sobib neile, kes kardavad faili Robots.txt ise luua või on lihtsalt laisad. Selle faili loomist pakuvad palju teenuseid. Kuid selle meetodi puhul tasub kaaluda mõningaid nüansse. Näiteks:

• Eelnevalt tuleb arvestada, mida täpselt soovitakse agendile keelata või lubada.
• Valmis faili kohustuslik kontrollimine on vajalik enne selle saidile üleslaadimist.
• Olge ettevaatlik, sest valesti loodud veebifail Robots.txt põhjustab kahetsusväärse olukorra. Seega võivad otsingusse sattuda saidi tehnilised ja muud lehed, mida a priori seal olla ei tohiks.
• Siiski on parem kulutada aega ja vaeva õige kohandatud roboti loomiseks. Nii saate uuesti luua oma saidile sobiva keeldude ja lubade põhjendatud struktuuri.

Faili Robots.txt redigeerimine ja süntaksi parandamine

Pärast faili Robots.txt edukat loomist saate seda hõlpsalt oma soovi järgi redigeerida ja muuta. Sel juhul tuleks arvesse võtta mõningaid reegleid ja pädevat süntaksit. Aja jooksul muudate seda faili korduvalt. Kuid ärge unustage, et pärast redigeerimist peate selle faili saidile üles laadima. Seega värskendades selle sisu otsingurobotite jaoks.

Robots.txt kirjutamine on väga lihtne, selle põhjuseks on selle faili kujunduse üsna lihtne struktuur. Reeglite kirjutamisel on peamine kasutada rangelt määratletud süntaksit. Neid reegleid järgivad vabatahtlikult peaaegu kõik suuremad PS-id. Siin on loetelu reeglitest, et vältida enamikku faili Robots.txt vigu.

1. Ühel real ei tohi olla rohkem kui üks määratud käsk;
2. Iga reegel algab uuelt realt;
3. Rea algusest on tühik eemaldatud;
4. Kommentaarid on lubatud pärast märki #;
5. Tühjad robotid loetakse täielikuks indekseerimisloaks;
6. Selle faili nimi on võimalik ainult kehtivas vormingus "robots";
7. Faili suurus ei tohi ületada 32 kb;
8. Lubamise ja keelamise direktiivides on lubatud ainult üks reegel. Tühi väärtus pärast Allow: või Disallow: võrdub täieliku loaga;
9. Kõik reeglid tuleb kirjutada väiketähtedega;
10. Fail peab olema alati kättesaadav;
11. Tühi rida määratud reeglite järel näitab User-agent direktiivi reeglite täielikku lõppu;
12. Reeglid on soovitav ette näha igale PS-le eraldi;
13. Kui reegel on saidikataloog, siis pange selle alguse ette kindlasti kaldkriips (/);
14. Stringis ega reeglis ei tohiks olla jutumärke;
15. On vaja kaaluda ranget reeglite struktuuri, mis teie saidile enam ei sobi;
16. Robots.txt peaks olema minimalistlik ja selgelt edasi andma kavandatud tähendust;

Faili Robots.txt õige konfiguratsioon – käskude õigekiri

Robotite kasutamisel positiivse tulemuse saamiseks peate selle õigesti konfigureerima. Kõiki selle faili peamisi käske koos juhistega järgivad suurimad otsingumootorid Google ja Yandex. Teised PS-id võivad mõningaid juhiseid ignoreerida. Kuidas muuta faili robots.txt enamiku otsingumootorite jaoks paremini tundlikuks? Siin peate mõistma selle failiga töötamise põhireegleid, mida arutati eespool.
Mõelge põhilistele käskudele:

• Kasutaja agent: * — juhised kehtivad absoluutselt kõikidele ps-robotidele. Samuti on võimalik teatud otsingumootorid eraldi määrata, näiteks: User-Agent: GoogleBot ja User-Agent: YandexBot. Seega on oluliste PS-de reeglid õigesti määratud.
• Keela: - keelab täielikult (lehe, kataloogi või failide) roomamise ja indekseerimise.
• lubama: - võimaldab täielikult (lehe, kataloogi või failide) roomamist ja indekseerimist.
• Puhas parameeter: – vajalik dünaamilise sisuga saidilehtede välistamiseks. Tänu sellele reeglile saate saidil dubleerivast sisust lahti saada.
• Roomamise viivitus: - reegel määrab ajaintervalli, mille jooksul p-botid saidilt dokumente alla laadivad. Võimaldab oluliselt vähendada serveri koormust. Näiteks: "Indekseerimise viivitus: 5" ütleb n-robotile, et saidilt saab dokumente alla laadida mitte rohkem kui üks kord iga 5 sekundi järel.
• Host: your_site.ru - vastutab saidi peamise peegli eest. Selles direktiivis peate määrama saidi prioriteetse versiooni.
• Saidiplaan: http://your_site.ru/sitemap.xml - nagu võite arvata, annab see direktiiv p-botile teada saidiplaani olemasolust saidil.
• # - võimaldab teil kommentaare jätta. Kommenteerida saab ainult pärast naelamärki. Seda saab paigutada nii uuele liinile kui ka direktiivi jätkuna. Kõiki neid valikuid eiravad robotid juhiste edastamisel.

Kuidas kontrollida faili Robots.txt Google'i või Yandexi abil

Kummalisel kombel on selle faili kontrollimiseks vaja ainult Google'i või Yandexi veebihalduri paneele. Mis omakorda teeb vigade leidmise palju lihtsamaks.

• Google Webmaster – valige vasakpoolsest menüüst "Skannimine" ja seejärel vahekaart "Robots.txt failikontrolli tööriist". Seejärel lisage ilmuva akna alumisele reale faili nimi. Seejärel klõpsake nuppu "Kontrolli" ja vaadake, kuidas Google'i robot teie roboteid näeb.
• Yandex Webmaster - vasakpoolses menüüs valige "Tööriistad" ja "Robots.txt analüüs". Pärast seda klõpsake ilmuvas aknas lihtsalt nuppu "Kontrolli".

Väärib märkimist, et selle faili kontrollimiseks on palju veebipõhiseid validaatoreid. Rääkisin kõige soodsamatest, mis on alati käepärast.

Järeldus

Kõigi saitide jaoks on võimatu kirjutada ühte täiuslikku robotit. Selle põhjuseks on saidid ise, millest osa on käsitsi valmistatud ja teised asuvad erinevatel CMS-idel. Absoluutselt kõigil saitidel on erinev kataloogistruktuur ja muud asjad.

Seetõttu on iga veebihaldur lihtsalt kohustatud looma p-robotite jaoks oma ainulaadsed reeglid. Selline fail vastab teie prioriteetidele ega võimalda teil konfidentsiaalset teavet otsida. Tänu sellele sisaldab register kvaliteetset sisu ilma tarbetu prügita. Soovitan oma saidil seadistada ka vajalikud ümbersuunamised. See väldib duplikaate ja kannab kaalu vajalikele lehtedele.

Seda artiklit lugedes:

• Mis on tehniline SEO Google'is? Parima praktika juhend
• Saidi lehtede vahemällu salvestamine .htaccessi abil – vahemälu

Täname lugemise eest: SEO HELPER | NICOLA.TOP