Як стварыць файл robots.txt для сайта - правільны robots

Праслухаць артыкул

Падрабязная інструкцыя аб тым, як стварыць файл robots.txt для сайта. Robots.txt з'яўляецца адным з самых неабходных аспектаў паўнавартаснай пошукавай аптымізацыі сайта і бяспекі вашага сайта. Выконваючы ўмовы пісьменнага выкарыстання гэтага файла, можна дасягнуць вызначанага дадатнага эфекту на сайт.

Магчыма ўказанне разнастайных інструкцый для большасці PS. Якія паказваюць пошукаваму боту неабходныя абмежаванні або дазволы на сканіраванне старонак, каталогаў або раздзелаў сайта.

Файл Robots.txt - асноўнае вызначэнне

Robots.txt - мае пэўныя стандарты выключэнняў для пошукавых агентаў (ботаў), які быў прыняты ў студзені 1944 года. Файл чым, тое нагадвае файл .htaccess (у яго таксама прапісваюць правілы). Правілам гэтага файла добраахвотна прытрымліваюцца самыя распаўсюджаныя PS. Файл можа складацца з аднаго або некалькіх правіл, кожнае з якіх блакуе ці дазваляе пошукаваму робату доступ да вызначаных шляхоў на сайце.

Для чаго патрэбен Robots.txt на сайце – яго ўплыў на прасоўванне ў пошукавых сістэмах.

Robots.txt - гэта найважнейшы фактар пошукавай аптымізацыі сайта. Дзякуючы правільна прапісанаму набору правіл для пошукавых ботаў, можна дасягнуць вызначанага падвышэння ранжыравання сайта ў пошуку. Што даюць такія інструкцыі:

1. Зачынены на індэксаванне пэўных старонак, раздзелаў, каталогаў сайта;
2. Выключэнне старонак, якія не змяшчаюць карыснага кантэнту;
3. Выключэнне дубляў старонак і іншае.

Для большасці сайтаў, такія абмежаванні на індэксаванне проста неабходныя для невялікіх поўнастаронкавых неабавязковыя. Тым не менш, пэўныя дырэктывы, неабходна дадаваць кожнаму сайту. Напрыклад забароны на індэксацыю:

1. Старонак рэгістрацыі, уваходу ў адмінку, аднаўлення пароля;
2. Тэхнічных каталогаў;
3. Rss - стужкі сайта;
4. Replytocom і іншага.

Як стварыць файл Robors.txt самастойна плюс прыклады

Цяжкасцяў пры стварэнні файла Robots.txt не можа паўстаць нават у пачаткоўцаў. Дастаткова прытрымлівацца пэўнай паслядоўнасці дзеянняў:

1. Robots.txt - тэкставы дакумент і ствараецца любым даступным тэкставым рэдактарам;
2. Пашырэнне файла павінна быць абавязковае .txt;
3. Назва абавязковая robots;
4. На адным сайце, дазволены толькі адзін такі файл;
5. Размяшчаецца толькі ў каранёвым каталогу сайта;

Вам неабходна скарыстацца звычайным тэкставым рэдактарам (нататнікам як альтэрнатывай). Ствараем дакумент фармату. Txt і назвай robots. Затым захоўваемы і пераносім гэты дакумент з дапамогай FTP кліента ў каранёвы каталог сайта. Гэта асноўныя дзеянні, якія неабходна выканаць.

Прыклады стандартных Robots.txt для папулярных CMS

Прыклад robots.txt для amiro.cms:

Прыклад robots.txt для bitrix:

Прыклад robots.txt для dle:

Прыклад robots.txt для drupal:

Прыклад robots.txt для hostcms:

Прыклад robots.txt для joomla3:

Прыклад robots.txt для joomla:

Прыклад robots.txt для modx evo:

Прыклад robots.txt для modx:

Прыклад robots.txt для netcat:

Прыклад robots.txt для opencat:

Прыклад robots.txt для typo3:

Прыклад robots.txt для umi:

Прыклад robots.txt для wordpress:

Далей прыклад файла майго сайта CMS WordPress:

# robots.txt
User-Agent: *
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */amp
Disallow: */amp?
Disallow: */amp/
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Mail.Ru
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: ia_archiver
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: SputnikBot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Bingbot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: */*/?amp
Allow: */tag/?amp
Allow: */page/?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Yandex-Images
Allow: /wp-content/uploads/

User-agent: Mail.Ru-Images
Allow: /wp-content/uploads/

User-agent: ia_archiver-Images
Allow: /wp-content/uploads/

User-agent: Bingbot-Images
Allow: /wp-content/uploads/


Host: https://nicola.top
Sitemap: https://nicola.top/sitemap_index.xml
Sitemap: https://nicola.top/?feed=googleimagesitemap

Спадзяюся, што ен будзе Вам карысны. Калі ласка, ужывайце правілы зыходзячы з меркаванняў датычна вашых сайтаў. Да кожнага рэсурсу мусіць быць свой падыход.

На дадзены момант мой файл скарочаны да агульнага. Вы можаце азнаёміцца з ім перайшоўшы на nicola.top/robots.txt

Як стварыць файл Robots.txt з дапамогай анлайн сэрвісаў

Гэты метад самы просты і хуткі, падыдзе тым хто баіцца самастойна ствараць Robots.txt ці проста лянуецца. Сэрвісаў якія прапануюць стварэнне гэтага файла велізарнае мноства. Але варта ўлічваць некаторыя нюансы датычна гэтага спосабу. Напрыклад:

• Неабходна загадзя ўлічыць, што менавіта Вы жадаеце забараніць, альбо дазволіць агенту.
• Неабходна абавязковая праверка гатовага файла перад загрузкай яго на сайт.
• Будзьце ўважлівыя, бо некарэктна створаны файл Robots.txt online, прывядзе да жаласнай сітуацыі. Такім чынам у пошук могуць патрапіць, тэхнічныя і іншыя старонкі сайта, якіх там быць у апрыёры не павінна.
• Усё ж, лепш выдаткаваць час і намаганні для стварэння карэктнага карыстацкага робатса. Такім чынам можна ўзнавіць дакладна абгрунтаваную структуру забарон і дазволаў адпаведную вашаму сайту.

Рэдагаванне і правільны сінтаксіс файла Robots.txt

Пасля паспяхова створанага Robots.txt, яго можна спакойна рэдагаваць і змяняць, як Вам будзе заўгодна. Пры гэтым варта ўлічыць некаторыя правілы і пісьменны сінтаксіс. Па сканчэнні некаторага часу вы неаднаразова будзеце змяняць гэты файл. Але не забывайце, пасля правядзення прац па рэдагаванні, Вам неабходна будзе выгрузіць гэты файл на сайт. Тым самым абнавіўшы яго змесціва для пошукавых робатаў.

Напісаць Robots.txt вельмі проста, чыннік гэтаму досыць простая структура афармлення дадзенага файла. Галоўнае пры напісанні правіл, выкарыстоўваць строга вызначаны сінтаксіс. Дадзеным правілам добраахвотна прытрымліваюцца, практычна ўсе асноўныя ПС. Вось спіс некаторых правіл, для пазбягання большасці памылак у файле Robots.txt:

1. У адным радку не павінна быць больш за адну названай дырэктывы;
2. Кожнае правіла пачынаецца з новага радка;
3. Выключаны прабел у пачатку радка;
4. Дапушчальныя каментары пасля знака #;
5. Пусты Робат будзе лічыцца як поўнае дазвол на індэксацыю;
6. Назва гэтага файла магчыма толькі ў дапушчальным фармаце robots;
7. Памер файла не павінен перавышаць 32кб;
8. У дырэктывах Allow і Disallow дапушчальна толькі адно правіла. Пустое значэнне пасля Allow: або Disallow: раўнасільныя поўнаму дазволу;
9. Усе правілы павінны быць прапісаны ў ніжнім рэгістры;
10. Файл павінен быць даступны заўсёды;
11. Пусты радок пасля ўказаных правіл, паказвае на поўнае заканчэнне правілаў дырэктывы User-agent;
12. Пажадана прапісваць правілы, кожнай ПС па асобнасці;
13. Калі правіла гэта дырэкторыя сайта, то абавязкова стаўце слеш (/) перад яе пачаткам;
14. Кавычак у радку або ў правіле быць не павінна;
15. Неабходна ўлічваць строгую структуру правіл, якая адпавядае Вашаму сайту не больш;
16. Robots.txt павінен быць мінімалістычны і выразна адлюстроўваць перадаваны сэнс;

Пісьменная настройка файла Robots.txt - правільнае напісанне каманд

Каб атрымаць пазітыўны вынік пры выкарыстанні робатс, неабходна правільна яго наладзіць. Усім асноўным камандам дадзенага файла з інструкцыямі, прытрымліваюцца самыя маштабныя пошукавыя сістэмы Google and Yandex. Астатнія PS могуць ігнараваць некаторыя інструкцыі. Як зрабіць robots.txt найбольш спагадным большасці пошукавікаў? Тут неабходна разуменне асноўных правіл працы з гэтым файлам аб якіх гаварылася вышэй.
Разгледзім асноўныя каманды:

• User-Agent: * - інструкцыі будуць дакранацца абсалютна ўсіх ps робатаў. Таксама магчыма ўказанне пэўных пошукавых сістэм па асобнасці да прыкладу: User-Agent: GoogleBot і User-Agent: YandexBot. Такім чынам карэктна абазначаюцца правілы для важных ПС.
• Disallow: - цалкам забараняе абыход і індэксацыю (старонкі, каталога або файлаў).
• Allow: - цалкам дазваляе абыход і індэксацыю (старонкі, каталога або файлаў).
• Clean-param: - патрэбен для выключэння старонак сайта з дынамічным кантэнтам. Дзякуючы гэтаму правілу можна пазбавіцца ад дубляў кантэнту на сайце.
• Crawl-delay: - правіла паказвае інтэрвал часу п-ботам для выгрузкі дакументаў з сайта. Дазваляе значна паменшыць нагрузкі на сервер. Да прыкладу: "Crawl-delay: 5" – скажа п-робату, што запампоўка дакументаў з сайта магчыма не часцей за адзін раз у 5 секунд.
• Host: ваш_сайт.ru - адказвае за галоўнае люстэрка сайта. У гэтай дырэктыве неабходна прапісаць прыярытэтную версію сайта.
• Sitemap: http://ваш_сайт.ru/sitemap.xml - як Вы маглі здагадацца дадзеная дырэктыва падказвае п-боту. аб наяўнасць Sitemap на сайце.
• # - дазваляе пакідаць каментары. Каментаваць можна, толькі пасля знака рашоткі. Размяшчаць яе можна як у новым радку, так і працягам дырэктывы. Усе гэтыя варыянты будуць ігнаравацца ботамі пры праходзе інструкцый.

Як праверыць Robots.txt з дапамогай Google ці Yandex

Як не дзіўна для праверкі гэтага файла неабходны толькі панэлі вэбмайстра Google ці Yandex. Што ў сваю чаргу значна аблягчае пошук памылак.

• Вэбмайстар Google - выбіраемы ў левым меню "Сканіраванне" і затым укладку "Інструмент праверкі файла Robots.txt". Затым у ніжнім радку якое з'явілася акна дапішыце назоў файла. Затым націсніце на “Праверыць” і паглядзіце як бот гугла бачыць Ваш робат.
• Вэбмайстар Yandex – у левым меню выбіраем "Інструменты" і "Аналіз Robots.txt". Пасля гэтага ў якое з'явілася акне проста націсніце на кнопку "Праверыць".

Варта адзначыць, што анлайн валідатараў для праверкі гэтага файла вельмі шмат. Я расказаў аб самых даступных, якія знаходзяцца заўсёды пад рукой.

Заключэнне

Напісаць адзін ідэальны robots для ўсіх сайтаў немагчыма. Прычына гэтаму самі сайты, некаторыя з якіх зроблены рукамі а іншыя размешчаны на розных CMS. У усіх сайтаў розная структура каталогаў і іншага.

Таму кожны Вэбмайстар проста абавязаны стварыць свой унікальны набор правілаў для п-ботаў. Такі файл будзе адказваць Вашым прыярытэтам і не дазволіць патрапіць у пошук канфідэнцыйнай інфармацыі. Дзякуючы гэтаму ў азначніку будзе знаходзіцца якасны кантэнт без лішняга смецця. Рэкамендую вам, таксама наладзіць неабходныя перанакіраванні на вашым сайце. Гэта дазволіць пазбегнуць дубляў, перадаць вагу на патрэбныя старонкі.

Дзякуй, што чытаеш Nicola Top