Veb-sayt uchun robots.txt faylini qanday yaratish mumkin - to'g'ri robotlar

chop etish · Vremya na chtenie: 11min · tomonidan · Chop etilgan · Yangilangan

ko'paytirishMaqolani tinglang

robots.txt faylini qanday yaratish mumkin.

Batafsil ko'rsatmalar robots.txt faylini qanday yaratish kerak sayt uchun. Robots.txt - bu saytni to'liq huquqli qidiruv tizimini optimallashtirishning eng zarur jihatlaridan biri va veb-saytingiz xavfsizligi. Ushbu fayldan to'g'ri foydalanish shartlariga rioya qilish orqali siz saytda ma'lum ijobiy ta'sirga erishishingiz mumkin.

Ko'pgina PS uchun turli xil ko'rsatmalarni belgilash mumkin. Bu qidiruv botiga kerakli cheklovlar yoki ruxsatlarni bildiradi sahifalarni, kataloglarni yoki sayt bo'limlarini skanerlash.

Robots.txt fayli - asosiy ta'rif

Robots.txt - 1944 yil yanvar oyida qabul qilingan qidiruv agentlari (botlar) uchun ma'lum istisno standartlariga ega. Fayl faylga o'xshaydi .htaccess (qoidalarni ham belgilaydi). Ushbu faylning qoidalari ixtiyoriy ravishda eng keng tarqalgan PS tomonidan amalga oshiriladi. Fayl bir yoki bir nechta qoidalardan iborat bo'lishi mumkin, ularning har biri brauzerga saytdagi muayyan yo'llarga kirishni bloklaydi yoki ruxsat beradi.

Odatiy bo'lib, bu fayl saytda emas - bu barcha PS'larga saytning barcha tarkibini indekslash uchun to'liq ruxsat beradi. Bunday ruxsatnoma saytning muhim texnik sahifalarini qidiruv tizimi indeksiga kiritishga olib kelishi mumkin, ular bo'lmasligi kerak.

Nima uchun bizga Robots.txt saytida kerak - uning qidiruv tizimlarida reklamaga ta'siri

Robots.txt - saytning qidiruv tizimini optimallashtirishda eng muhim omil. Qidiruv botlari uchun to'g'ri yozilgan qoidalar to'plami tufayli siz qidiruvda sayt reytingida ma'lum bir o'sishga erishishingiz mumkin. Ushbu ko'rsatmalar nima beradi:

  1. Saytning ma'lum sahifalarini, bo'limlarini, kataloglarini indekslash uchun qulflangan;
  2. Foydali tarkibga ega bo'lmagan sahifalarni chiqarib tashlash;
  3. Ikki nusxadagi sahifalarni yo'q qilish va boshqalar.

Ko'pgina saytlar uchun bunday indekslash cheklovlari shunchaki zarur; kichik to'liq sahifali saytlar ixtiyoriy. Biroq, har bir saytga ma'lum ko'rsatmalar qo'shilishi kerak. Masalan, indekslashni taqiqlash:

  1. Ro'yxatdan o'tish sahifalari, administratorga kirish, parolni tiklash;
  2. Texnik kataloglar;
  3. Rss - sayt tasmasi;
  4. Replytocom va boshqalar.

Qanday qilib Robors.txt faylini o'zingiz yaratishingiz va misollar

Robots.txt faylini yaratishda qiyinchiliklar hatto yangi boshlanuvchilar uchun ham paydo bo'lishi mumkin emas. Muayyan harakatlar ketma-ketligiga rioya qilish kifoya:

  1. Robots.txt matnli hujjat bo'lib, har qanday mavjud matn muharriri tomonidan yaratilgan;
  2. Fayl kengaytmasi .txt bo'lishi kerak;
  3. Nomi majburiy robotlar;
  4. Har bir sayt uchun faqat bitta faylga ruxsat beriladi;
  5. Faqat saytning asosiy katalogiga joylashtirilgan;

Siz oddiy matn muharriridan foydalanishingiz kerak (muqobil sifatida bloknot). Biz robotlar nomi bilan .txt hujjat yaratamiz. Keyin biz FTP mijozi yordamida ushbu hujjatni saqlaymiz va saytning asosiy katalogiga o'tkazamiz. Bu amal qilish kerak bo'lgan asosiy qadamlar.

Mashhur CMS uchun standart Robots.txt misollari

amiro.cms uchun Robots.txt misoli:

amero.cms uchun robots.txt.

Bitrix uchun robots.txt misoli:

bitrix uchun robots.txt.

bitrix1 uchun robots.txt.

dle uchun Robots.txt misoli:

dle uchun robots.txt.

Drupal robots.txt misoli:

drupal uchun robots.txt.

drupal1 uchun robots.txt.

Hostcms uchun Robots.txt misoli:

hostcms uchun robots.txt.

Joomla3 uchun Robots.txt misoli:

joomla3 uchun robots.txt.

Joomla uchun robots.txt misoli:

joomla uchun robots.txt.

Modx evo uchun Robots.txt misoli:

modx evo uchun robots.txt.

Modx uchun Robots.txt misoli:

Modx uchun robots.txt.

Netcat uchun Robots.txt misoli:

netcat uchun robots.txt.

Opencat uchun Robots.txt misoli:

Opencat uchun robots.txt.

typo3 uchun Robots.txt misoli:

typo3 uchun robots.txt.

Umi uchun Robots.txt misoli:

Umi uchun robots.txt.

Wordpress uchun robots.txt misoli:

Wordpress uchun robots.txt.

Mana mening WordPress CMS sayt faylimga misol:

# robots.txt
User-Agent: *
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */amp
Disallow: */amp?
Disallow: */amp/
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Mail.Ru
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: ia_archiver
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: SputnikBot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Bingbot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: */*/?amp
Allow: */tag/?amp
Allow: */page/?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Yandex-Images
Allow: /wp-content/uploads/

User-agent: Mail.Ru-Images
Allow: /wp-content/uploads/

User-agent: ia_archiver-Images
Allow: /wp-content/uploads/

User-agent: Bingbot-Images
Allow: /wp-content/uploads/


Host: https://nicola.top
Sitemap: https://nicola.top/sitemap_index.xml
Sitemap: https://nicola.top/?feed=googleimagesitemap

Umid qilamanki, bu sizga foydali bo'ladi. Iltimos, qoidalarni saytingizning fikrlariga muvofiq qo'llang. Har bir resurs o'z yondashuviga ega bo'lishi kerak.

Ayni paytda mening faylim umumiy qilib qisqartirilgan. Siz u bilan nicola.top/robots.txt saytiga kirib tanishishingiz mumkin

Onlayn xizmatlardan foydalangan holda Robots.txt faylini qanday yaratish mumkin

Bu usul eng oson va tezkor bo'lib, Robots.txt-ni mustaqil ravishda yaratishdan qo'rqadigan yoki shunchaki dangasa bo'lganlar uchun javob beradi. Ushbu faylni yaratishni taklif qiluvchi ko'plab xizmatlar mavjud. Ammo bu usul bilan bog'liq ba'zi nuanslarni ko'rib chiqishga arziydi. Masalan:

  • Agentga nimani taqiqlash yoki ruxsat berishni xohlayotganingizni oldindan hisobga olishingiz kerak.
  • Tayyor faylni saytga yuklashdan oldin uni majburiy tekshirish talab qilinadi.
  • Ehtiyot bo'ling, chunki noto'g'ri yaratilgan Robots.txt onlayn fayli ayanchli vaziyatga olib keladi. Shunday qilib, apriori bo'lmasligi kerak bo'lgan saytning texnik va boshqa sahifalari qidiruvga kirishi mumkin.
  • Shunga qaramay, to'g'ri moslashtirilgan robotni yaratish uchun vaqt va kuch sarflash yaxshiroqdir. Shunday qilib, siz saytingizga mos keladigan taqiqlar va ruxsatlarning asosli tuzilmasini qayta yaratishingiz mumkin.

Robots.txt faylining sintaksisini tahrirlash va to'g'rilash

Muvaffaqiyatli Robots.txt-ni yaratganingizdan so'ng, uni osongina tahrirlashingiz va xohlaganingizcha o'zgartirishingiz mumkin. Bunday holda, ba'zi qoidalar va vakolatli sintaksisni hisobga olish kerak. Vaqt o'tishi bilan siz ushbu faylni qayta-qayta o'zgartirasiz. Ammo unutmang, tahrir qilgandan so'ng, ushbu faylni saytga yuklashingiz kerak bo'ladi. Shunday qilib, qidiruv robotlari uchun uning mazmunini yangilash.

Robots.txt-ni yozish juda oddiy, buning sababi bu fayl dizaynining ancha sodda tuzilishidir. Qoidalarni yozishda asosiy narsa qat'iy belgilangan sintaksisdan foydalanishdir. Ushbu qoidalarga deyarli barcha asosiy PSlar ixtiyoriy ravishda amal qiladi. Robots.txt faylida ko'p xatolarga yo'l qo'ymaslik uchun ba'zi qoidalar ro'yxati:

  1. Bitta satrda bir nechta ko'rsatilgan direktivalar bo'lmasligi kerak;
  2. Har bir qoida yangi satrdan boshlanadi;
  3. Qator boshida bo'sh joy olib tashlandi;
  4. # belgisidan keyin sharhlarga ruxsat beriladi;
  5. Bo'sh robotlar to'liq indeksatsiya ruxsati sifatida hisoblanadi;
  6. Ushbu fayl nomi faqat "robotlar" formatida mumkin;
  7. Fayl hajmi 32 kb dan oshmasligi kerak;
  8. Allow va Disallow direktivalarida faqat bitta qoidaga ruxsat berilgan. Allow: yoki Disallow: so‘ng bo‘sh qiymat to‘liq ruxsatga teng;
  9. Barcha qoidalar kichik harflar bilan yozilishi kerak;
  10. Fayl har doim mavjud bo'lishi kerak;
  11. Belgilangan qoidalardan keyingi bo'sh satr Foydalanuvchi-agent direktivasi qoidalarining to'liq tugashini bildiradi;
  12. Har bir PS uchun qoidalarni alohida belgilash maqsadga muvofiqdir;
  13. Agar qoida sayt katalogi bo'lsa, uning boshlanishidan oldin slash (/) qo'yishni unutmang;
  14. Satrda yoki qoidada tirnoq bo'lmasligi kerak;
  15. Sizning saytingizga mos kelmaydigan qoidalarning qat'iy tuzilishini ko'rib chiqish kerak;
  16. Robots.txt minimalist bo'lishi va mo'ljallangan ma'noni aniq etkazishi kerak;

Robots.txt faylining to'g'ri konfiguratsiyasi - buyruqlarning to'g'ri yozilishi

Robotlardan foydalanishda ijobiy natijaga erishish uchun siz uni to'g'ri sozlashingiz kerak. Ko'rsatmalar bilan ushbu faylning barcha asosiy buyruqlari Google va Yandex eng yirik qidiruv tizimlari tomonidan ta'qib qilinadi. Boshqa PS ba'zi ko'rsatmalarni e'tiborsiz qoldirishi mumkin. Robots.txt ni ko'pchilik qidiruv tizimlariga qanday javob berish mumkin? Bu erda siz yuqorida muhokama qilingan ushbu fayl bilan ishlashning asosiy qoidalarini tushunishingiz kerak.
Asosiy buyruqlarni ko'rib chiqing:

  • Foydalanuvchi agenti: * — ko'rsatmalar mutlaqo barcha ps botlariga tegishli bo'ladi. Shuningdek, ma'lum qidiruv tizimlarini alohida ko'rsatish mumkin, masalan: User-Agent: GoogleBot va User-Agent: YandexBot. Shunday qilib, muhim PS uchun qoidalar to'g'ri belgilangan.
  • Ruxsat bermaslik: - (sahifa, katalog yoki fayllarni) skanerlash va indekslashni butunlay taqiqlaydi.
  • ruxsat berish: - (sahifa, katalog yoki fayllarni) skanerlash va indekslashga to'liq ruxsat beradi.
  • Toza Param: - dinamik tarkibga ega sayt sahifalarini chiqarib tashlash uchun kerak. Ushbu qoida tufayli siz saytdagi takroriy tarkibdan xalos bo'lishingiz mumkin.
  • Tekshirish kechikishi: - qoida p-botlar uchun saytdan hujjatlarni yuklab olish uchun vaqt oralig'ini belgilaydi. Serverdagi yukni sezilarli darajada kamaytirish imkonini beradi. Masalan: “Crawl-delay: 5” n-robotga hujjatlarni saytdan yuklab olish har 5 soniyada bir martadan ko'p bo'lmasligini aytadi.
  • Xost: your_site.ru - Asosiy sayt oynasi uchun javobgar. Ushbu direktivada siz saytning ustuvor versiyasini ko'rsatishingiz kerak.
  • Sayt xaritasi: http://your_site.ru/sitemap.xml - siz taxmin qilganingizdek, ushbu ko'rsatma p-botga aytadi Sayt xaritasi mavjudligi haqida saytda.
  • # - izoh qoldirish imkonini beradi. Siz faqat funt belgisidan keyin fikr bildirishingiz mumkin. U yangi qatorga ham, direktivaning davomi sifatida ham joylashtirilishi mumkin. Ko'rsatmalarni o'tkazishda bu variantlarning barchasi botlar tomonidan e'tiborga olinmaydi.

Google yoki Yandex yordamida Robots.txt ni qanday tekshirish mumkin

Ajablanarlisi shundaki, ushbu faylni tekshirish uchun faqat Google yoki Yandex webmaster panellari kerak. Bu esa, o'z navbatida, xatolarni topishni ancha osonlashtiradi.

  • Google Webmaster - chap menyuda "Scanning" ni va keyin "Robots.txt File Check Tool" yorlig'ini tanlang. Keyin, paydo bo'lgan oynaning pastki qatoriga fayl nomini qo'shing. Keyin "Tekshirish" tugmasini bosing va Google boti sizning robotlaringizni qanday ko'rishini ko'ring.
  • Yandex Webmaster - chap menyuda "Asboblar" va "Robots.txt tahlili" ni tanlang. Shundan so'ng, paydo bo'lgan oynada "Tekshirish" tugmasini bosing.

Shuni ta'kidlash kerakki, ushbu faylni tekshirish uchun ko'plab onlayn validatorlar mavjud. Men har doim qo'lda bo'lgan eng arzonlari haqida gapirdim.

Xulosa

Barcha saytlar uchun bitta mukammal robot yozish mumkin emas. Buning sababi saytlarning o'zlari bo'lib, ularning ba'zilari qo'lda qilingan, boshqalari esa turli CMSlarda joylashgan. Mutlaqo barcha saytlar boshqa katalog tuzilishi va boshqa narsalarga ega.

Shuning uchun, har bir Webmaster oddiygina p-botlar uchun o'ziga xos qoidalar to'plamini yaratishi shart. Bunday fayl sizning ustuvorliklaringizga javob beradi va maxfiy ma'lumotlarni qidirishga kirishga ruxsat bermaydi. Buning yordamida indeks keraksiz axlatsiz yuqori sifatli tarkibni o'z ichiga oladi. Saytingizda kerakli yo'naltirishlarni ham o'rnatishingizni tavsiya qilaman. Bu dublikatlardan qochadi, vaznni kerakli sahifalarga o'tkazadi.

Nikola Topni o'qiganingiz uchun tashakkur

Post qanchalik foydali?

Baholash uchun tabassum ustiga bosing!

o'rtacha reyting 5 / 5. Baholar soni: 81

Hozircha reytinglar yo‘q. Avval baho bering.

Sizga ham yoqishi mumkin...

1 Javob

  1. Alycia izohi:

    Men zavqlanaman, chunki men qidirayotgan narsamni topdim.
    Siz mening to'rt kunlik ovimni tugatdingiz! Alloh rozi bo'lsin sizdan odam. Kuningiz yahshi o'tsin.
    Xayr

Fikr bildirish

Email manzilingiz chop etilmaydi. Majburiy bandlar * bilan belgilangan

ikki × to'rtta =