Wordpress uchun robots.txt-ni qanday qilish kerak

Hammaga salom, bugun men aytib beraman Wordpress uchun robots.txt-ni qanday qilish kerak. robots.txt faylini yaratish birinchi navbatda qidiruv robotlariga robot saytingizning qaysi bo'limlarini chetlab o'tishi va indekslashi va qaysi biri yo'qligini ko'rsatish kerak.
Aslida, ushbu xizmat fayli qidiruv botiga saytning qaysi bo'limlari qidiruv tizimlarida indekslanishi va qaysi qidiruv roboti o'tkazib yuborishi kerakligini ko'rsatish uchun kerak. Biroq, qidiruv tizimi robotlari taqiqlash bo'yicha direktivani e'tiborsiz qoldirishi va bo'limni indekslashi mumkinligini tushunishingiz kerak. Biroq, bunday holatlar juda kam uchraydi.
Maqolaning mazmuni:
- robots.txt faylini yaratish
- robots.txt faylini dekodlash (direktivalar)
- Mening veb-saytim uchun kengaytirilgan Robots.txt fayliga misol
WordPress uchun Robots.txt - buni qanday qilish kerak?
1. .txt formatida robotlar deb nomlangan matn faylini yarating. Oddiy matn muharriri bilan yaratilgan.
2. Keyin ushbu faylga quyidagi ma'lumotlarni kiriting:
Foydalanuvchi-agent: Yandex Taqiqlash: /wp-admin Ruxsat berish: /wp-includes Ruxsat berish: /wp-comments Ruxsat berish: /wp-content/plugins Ruxsat berish: /wp-content/themes Ruxsat berish: /wp-content/cache Ruxsat bermaslik: / wp-login.php Taqiqlash: /wp-register.php Ruxsat berish: */trackback Ruxsat berish: */feed Ruxsat berish: /cgi-bin Ruxsat berish: /tmp/ Ruxsat berish: *?s= User-agent: * Ruxsat berish: /wp- admin Ruxsat berish: /wp-includes Ruxsat berish: /wp-comments Ruxsat berish: /wp-content/plugins Ruxsat berish: /wp-content/themes Ruxsat berish: /wp-content/cache Ruxsat berish: /wp-login.php Ruxsat berish: /wp- register.php Ruxsat berish: */trackback Ruxsat berish: */feed Ruxsat berish: /cgi-bin Ruxsat berish: /tmp/ Ruxsat berish: *?s= Xost: site.com Sayt xaritasi: http://site.com/sitemap.xml
3. Host: site.com (site.com) direktivasini saytingiz nomi bilan almashtiring.
4. Sayt xaritasi direktivasida quyidagilarni belgilang: sayt xaritangizga to'liq yo'l. URL manzili saytingizdagi xaritani yaratadigan plaginga qarab farq qilishi mumkin.
5. Robots.txt faylini saqlang va saytingizning ildiz papkasiga yuklang. Buni istalgan FTP mijozi bilan qilishingiz mumkin.
6. Ajoyib, faylingiz tayyor va ishlayapti. Endi, saytni skanerlashdan oldin, qidiruv tizimi robotlari birinchi navbatda ushbu xizmat fayliga kirishadi.
robots.txt faylini dekodlash (direktivalar)
Keling, Robots.txt faylini batafsil ko'rib chiqaylik. Robots.txt fayliga nima va nima uchun qo'shdik.
foydalanuvchi-agent - qidiruv robotining nomini ko'rsatish uchun zarur bo'lgan direktiv. Uning yordamida siz qidiruv robotlarining saytingizga kirishini taqiqlashingiz yoki ruxsat berishingiz mumkin. Masalan:
Biz Yandex robotiga kesh jildini ko'rishni taqiqlaymiz:
Foydalanuvchi agenti: Yandex
Ruxsat bermaslik: /wp-content/cache
Biz Bing robotiga mavzular jildini (sayt mavzulari bilan) ko'rib chiqishga ruxsat beramiz:
Foydalanuvchi agenti: bingbot
Ruxsat bering: /wp-content/themes
Bizning qoidalarimiz barcha qidiruv tizimlari uchun bir xil bo'lishi uchun. Direktivdan foydalaning: Foydalanuvchi-agent: *
Allow and Disallow - ruxsat beruvchi va taqiqlovchi ko'rsatma. Misollar:
Yandex botga wp-admin jildini ko'rishga ruxsat bering:
Foydalanuvchi agenti: Yandex
Ruxsat bering: /wp-admin
Barcha botlarning wp-content jildini ko'rishiga yo'l qo'ymaslik:
Foydalanuvchi-agent: *
Ruxsat bermaslik: /wp-content
Bu robots.txt ruxsat berish direktivasidan foydalanmaydi, biz Disallow direktivasi bilan taqiqlamagan narsalarga sukut bo'yicha ruxsat beriladi.
- Xost - saytning asosiy oynasini ko'rsatish uchun zarur bo'lgan direktiv, u robot tomonidan indekslanadi. Uchinchi tomonning hamma narsasidan voz kechilmaydi.
- Sayt xaritasi - bu erda biz sayt xaritasiga yo'lni ko'rsatamiz. E'tibor bering, Sayt xaritasi veb-saytlarni ilgari surish uchun juda muhim vositadir! Uning mavjudligi juda muhim, bu haqda unutmang.
Mening veb-saytim uchun kengaytirilgan Robots.txt fayliga misol
Endi saytimning robotlar faylini ko'rib chiqamiz. E'tibor bering, men taqiqlovchi yoki ruxsat beruvchi ko'rsatmalarni ehtiyojlarimga qarab tahrir qilaman. Agar siz mening misolimdan foydalanishga qaror qilsangiz, faylni ko'rib chiqing va kerak bo'lmagan ko'rsatmalarni olib tashlang.
Keling, ushbu saytning robots.txt faylini olaylik:
# robots.txt User-Agent: * Ruxsat bermaslik: /wp-json/ # texnik maʼlumot Ruxsat bermaslik: /wp-login.php # xavfsizligi Ruxsat bermaslik: /wp-register.php # xavfsizligi Ruxsat bermaslik: /xmlrpc.php # xavfsizligi, WordPress API file Disallow: / template.html #texnik maʼlumot Ruxsat bermaslik: /wp-admin #security Ruxsat berish: */trackback #duplicates, comments Ruxsat bermaslik: */comments* #duplicates, comments Ruxsat bermaslik: *comments_* 1TPch1Tduplicates, comments. sayt qidiruv natijalari sahifalari Ruxsat bermaslik : /muallif /* # muallif va foydalanuvchi sahifalari Ruxsat bermaslik: /users/ Ruxsat bermaslik: /*?replytocom # snotty indeks Ruxsat bermaslik: /*?replytocom* Ruxsat bermaslik: /comment-page* # sharh sahifalari Ruxsat bermaslik: /wp-content/cache papkani Ruxsat berish: */teg /* #tags - agar kerak bo'lsa, ruxsat berish: /teg/* Ruxsat berish: */embed$ #all o'rnatish Ruxsat bermaslik: */?s=* #search Ruxsat berish: */?p=* #search: taqiqlash: * #search Ruxsat bermaslik: */ ?xs_review=* #pages post muharriri, vizual ko‘rib chiqish Ruxsat bermaslik: /?page_id=* #pages sahifa muharriri, vizual ko‘rib chiqish Ruxsat bermaslik: */feed #all tasmalari va rss tasmalar Ruxsat berilmaydi: */? Ruxsat bermaslik: *.php #texnik fayllar Ruxsat bermaslik: /ads.txt # texnik reklama sahifalari, agar kerak bo'lsa, Ruxsat bermang: */amp # barcha kuchaytirgich sahifalari - texnologiyadan foydalansangiz, o'chirmang. Ruxsat bermaslik: */amp? Ruxsat bermaslik: */amp/ Taqiqlash: */?amp* Ruxsat bermaslik: */stylesheet 1TP31Ochilgan uslublar jadvallari Ruxsat bermaslik: */stylesheet* Ruxsat bermaslik: /?customize_changeset_uuid= #Keshlash va siqish plaginining texnik nusxalari Ruxsat berilmaydi: */? =on
# botlarga sayt sahifalarini to'g'ri ko'rsatish uchun zarur bo'lgan fayllarni belgilang. Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/admin-ajax.php
1TP31Botlarga rasmli papkalarni koʻrish uchun ruxsat Foydalanuvchi-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Yandex-Images Allow: /wp-content/uploads/ User-agent: Mail.Ru-Images ruxsat : /wp-content/uploads/ User-agent: ia_archiver-Images Ruxsat: /wp-content/uploads/ User-agent: Bingbot-Images Ruxsat: /wp-content/uploads/
1TP31 Asosiy oyna va sayt xaritasini belgilang Xost: https://nicola.top Sayt xaritasi: https://nicola.top/sitemap_index.xml
Xulosa
WordPress uchun robots.txt ni qanday yaratish haqida yetarlicha batafsil gapirib berdim. Shuni esda tutingki, ushbu faylga kiritilgan barcha o'zgarishlar birozdan keyin ko'rinadi. Turli CMS-larda sayt uchun robots.txt-ni qanday qilish haqida maqolada eng to'liq sharhni ko'rishingiz mumkin.
Ehtiyojlaringizga qarab direktivalarni tahrirlang. Ushbu xizmat fayliga hamma narsani o'ylamasdan kiritishning hojati yo'q. Bunday mas'uliyatsiz o'zgarishlar qidiruvdan saytning muhim sahifalari yoki bo'limlarini yo'qotish va butunlay olib tashlashga olib kelishi mumkin. Umid qilamanki, ushbu qo'llanma siz uchun foydali bo'ladi, savollar bilan sharhlaringizni qoldiring.
Ushbu maqolani o'qish:
- Google Analytics-ni WordPress saytida qanday o'rnatish mumkin - Hisoblagich
- WordPress-da qanday yo'naltirish kerak
O'qiganingiz uchun tashakkur: SEO HELPER | NICOLA.TOP