Wordpress uchun robots.txt-ni qanday qilish kerak

chop etish · Vremya na chtenie: 6min · tomonidan · Chop etilgan · Yangilangan

o'ynashUshbu maqolani tinglang

WordPress uchun Robots.txt-ni qanday qilish mumkin - To'g'ri Robots.txt yaratishHammaga salom, bugun men aytib beraman Wordpress uchun robots.txt-ni qanday qilish kerak. robots.txt faylini yaratish birinchi navbatda qidiruv robotlariga robot saytingizning qaysi bo'limlarini chetlab o'tishi va indekslashi va qaysi biri yo'qligini ko'rsatish kerak.

Aslida, ushbu xizmat fayli qidiruv botiga saytning qaysi bo'limlari qidiruv tizimlarida indekslanishi va qaysi qidiruv roboti o'tkazib yuborishi kerakligini ko'rsatish uchun kerak. Biroq, qidiruv tizimi robotlari taqiqlash bo'yicha direktivani e'tiborsiz qoldirishi va bo'limni indekslashi mumkinligini tushunishingiz kerak. Biroq, bunday holatlar juda kam uchraydi.

Maqolaning mazmuni:

WordPress uchun Robots.txt - buni qanday qilish kerak?

1. .txt formatida robotlar deb nomlangan matn faylini yarating. Oddiy matn muharriri bilan yaratilgan.

WordPress uchun robots.txt faylini qanday yaratishga misol.
2. Keyin ushbu faylga quyidagi ma'lumotlarni kiriting:

Foydalanuvchi-agent: Yandex Taqiqlash: /wp-admin Ruxsat berish: /wp-includes Ruxsat berish: /wp-comments Ruxsat berish: /wp-content/plugins Ruxsat berish: /wp-content/themes Ruxsat berish: /wp-content/cache Ruxsat bermaslik: / wp-login.php Taqiqlash: /wp-register.php Ruxsat berish: */trackback Ruxsat berish: */feed Ruxsat berish: /cgi-bin Ruxsat berish: /tmp/ Ruxsat berish: *?s= User-agent: * Ruxsat berish: /wp- admin Ruxsat berish: /wp-includes Ruxsat berish: /wp-comments Ruxsat berish: /wp-content/plugins Ruxsat berish: /wp-content/themes Ruxsat berish: /wp-content/cache Ruxsat berish: /wp-login.php Ruxsat berish: /wp- register.php Ruxsat berish: */trackback Ruxsat berish: */feed Ruxsat berish: /cgi-bin Ruxsat berish: /tmp/ Ruxsat berish: *?s= Xost: site.com Sayt xaritasi: http://site.com/sitemap.xml

3. Host: site.com (site.com) direktivasini saytingiz nomi bilan almashtiring.
4. Sayt xaritasi direktivasida quyidagilarni belgilang: sayt xaritangizga to'liq yo'l. URL manzili saytingizdagi xaritani yaratadigan plaginga qarab farq qilishi mumkin.
5. Robots.txt faylini saqlang va saytingizning ildiz papkasiga yuklang. Buni istalgan FTP mijozi bilan qilishingiz mumkin.
6. Ajoyib, faylingiz tayyor va ishlayapti. Endi, saytni skanerlashdan oldin, qidiruv tizimi robotlari birinchi navbatda ushbu xizmat fayliga kirishadi.

robots.txt faylini dekodlash (direktivalar)

Keling, Robots.txt faylini batafsil ko'rib chiqaylik. Robots.txt fayliga nima va nima uchun qo'shdik.
foydalanuvchi-agent - qidiruv robotining nomini ko'rsatish uchun zarur bo'lgan direktiv. Uning yordamida siz qidiruv robotlarining saytingizga kirishini taqiqlashingiz yoki ruxsat berishingiz mumkin. Masalan:

Biz Yandex robotiga kesh jildini ko'rishni taqiqlaymiz:

Foydalanuvchi agenti: Yandex
Ruxsat bermaslik: /wp-content/cache

Biz Bing robotiga mavzular jildini (sayt mavzulari bilan) ko'rib chiqishga ruxsat beramiz:

Foydalanuvchi agenti: bingbot
Ruxsat bering: /wp-content/themes

Bizning qoidalarimiz barcha qidiruv tizimlari uchun bir xil bo'lishi uchun. Direktivdan foydalaning: Foydalanuvchi-agent: *

Allow and Disallow - ruxsat beruvchi va taqiqlovchi ko'rsatma. Misollar:

Yandex botga wp-admin jildini ko'rishga ruxsat bering:

Foydalanuvchi agenti: Yandex
Ruxsat bering: /wp-admin

Barcha botlarning wp-content jildini ko'rishiga yo'l qo'ymaslik:

Foydalanuvchi-agent: *
Ruxsat bermaslik: /wp-content

Bu robots.txt ruxsat berish direktivasidan foydalanmaydi, biz Disallow direktivasi bilan taqiqlamagan narsalarga sukut bo'yicha ruxsat beriladi.

  • Xost - saytning asosiy oynasini ko'rsatish uchun zarur bo'lgan direktiv, u robot tomonidan indekslanadi. Uchinchi tomonning hamma narsasidan voz kechilmaydi.
  • Sayt xaritasi - bu erda biz sayt xaritasiga yo'lni ko'rsatamiz. E'tibor bering, Sayt xaritasi veb-saytlarni ilgari surish uchun juda muhim vositadir! Uning mavjudligi juda muhim, bu haqda unutmang.

Mening veb-saytim uchun kengaytirilgan Robots.txt fayliga misol

Endi saytimning robotlar faylini ko'rib chiqamiz. E'tibor bering, men taqiqlovchi yoki ruxsat beruvchi ko'rsatmalarni ehtiyojlarimga qarab tahrir qilaman. Agar siz mening misolimdan foydalanishga qaror qilsangiz, faylni ko'rib chiqing va kerak bo'lmagan ko'rsatmalarni olib tashlang.

Robots.txt fayliga misol, shaxsiy sayt.

Keling, ushbu saytning robots.txt faylini olaylik:

# robots.txt User-Agent: * Ruxsat bermaslik: /wp-json/ # texnik maʼlumot Ruxsat bermaslik: /wp-login.php # xavfsizligi Ruxsat bermaslik: /wp-register.php # xavfsizligi Ruxsat bermaslik: /xmlrpc.php # xavfsizligi, WordPress API file Disallow: / template.html #texnik maʼlumot Ruxsat bermaslik: /wp-admin #security Ruxsat berish: */trackback #duplicates, comments Ruxsat bermaslik: */comments* #duplicates, comments Ruxsat bermaslik: *comments_* 1TPch1Tduplicates, comments. sayt qidiruv natijalari sahifalari Ruxsat bermaslik : /muallif /* # muallif va foydalanuvchi sahifalari Ruxsat bermaslik: /users/ Ruxsat bermaslik: /*?replytocom # snotty indeks Ruxsat bermaslik: /*?replytocom* Ruxsat bermaslik: /comment-page* # sharh sahifalari Ruxsat bermaslik: /wp-content/cache papkani Ruxsat berish: */teg /* #tags - agar kerak bo'lsa, ruxsat berish: /teg/* Ruxsat berish: */embed$ #all o'rnatish Ruxsat bermaslik: */?s=* #search Ruxsat berish: */?p=* #search: taqiqlash: * #search Ruxsat bermaslik: */ ?xs_review=* #pages post muharriri, vizual ko‘rib chiqish Ruxsat bermaslik: /?page_id=* #pages sahifa muharriri, vizual ko‘rib chiqish Ruxsat bermaslik: */feed #all tasmalari va rss tasmalar Ruxsat berilmaydi: */? Ruxsat bermaslik: *.php #texnik fayllar Ruxsat bermaslik: /ads.txt # texnik reklama sahifalari, agar kerak bo'lsa, Ruxsat bermang: */amp # barcha kuchaytirgich sahifalari - texnologiyadan foydalansangiz, o'chirmang. Ruxsat bermaslik: */amp? Ruxsat bermaslik: */amp/ Taqiqlash: */?amp* Ruxsat bermaslik: */stylesheet 1TP31Ochilgan uslublar jadvallari Ruxsat bermaslik: */stylesheet* Ruxsat bermaslik: /?customize_changeset_uuid= #Keshlash va siqish plaginining texnik nusxalari Ruxsat berilmaydi: */? =on
# botlarga sayt sahifalarini to'g'ri ko'rsatish uchun zarur bo'lgan fayllarni belgilang. Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/admin-ajax.php
1TP31Botlarga rasmli papkalarni koʻrish uchun ruxsat Foydalanuvchi-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Yandex-Images Allow: /wp-content/uploads/ User-agent: Mail.Ru-Images ruxsat : /wp-content/uploads/ User-agent: ia_archiver-Images Ruxsat: /wp-content/uploads/ User-agent: Bingbot-Images Ruxsat: /wp-content/uploads/
1TP31 Asosiy oyna va sayt xaritasini belgilang Xost: https://nicola.top Sayt xaritasi: https://nicola.top/sitemap_index.xml

Xulosa

WordPress uchun robots.txt ni qanday yaratish haqida yetarlicha batafsil gapirib berdim. Shuni esda tutingki, ushbu faylga kiritilgan barcha o'zgarishlar birozdan keyin ko'rinadi. Turli CMS-larda sayt uchun robots.txt-ni qanday qilish haqida maqolada eng to'liq sharhni ko'rishingiz mumkin.

Ehtiyojlaringizga qarab direktivalarni tahrirlang. Ushbu xizmat fayliga hamma narsani o'ylamasdan kiritishning hojati yo'q. Bunday mas'uliyatsiz o'zgarishlar qidiruvdan saytning muhim sahifalari yoki bo'limlarini yo'qotish va butunlay olib tashlashga olib kelishi mumkin. Umid qilamanki, ushbu qo'llanma siz uchun foydali bo'ladi, savollar bilan sharhlaringizni qoldiring.

Ushbu maqolani o'qish:

O'qiganingiz uchun tashakkur: SEO HELPER | NICOLA.TOP

Bu post qanchalik foydali bo'ldi?

Baholash uchun yulduzcha ustiga bosing!

O'rtacha reyting 5 / 5. Ovozlar soni: 169

Hozircha ovoz yo'q! Ushbu xabarni birinchi bo'lib baholang.

Sizga ham yoqishi mumkin...

Fikr bildirish

Email manzilingiz chop etilmaydi. Majburiy bandlar * bilan belgilangan

4 × to'rtta =