Veb-sayt uchun robots.txt faylini qanday yaratish mumkin - to'g'ri robotlar

Ushbu maqolani tinglang

Batafsil ko'rsatmalar robots.txt faylini qanday yaratish kerak sayt uchun. Robots.txt - bu saytning to'liq huquqli qidiruv tizimini optimallashtirish va saytingiz xavfsizligining eng muhim jihatlaridan biridir. Ushbu fayldan to'g'ri foydalanish shartlariga rioya qilish orqali siz saytda ma'lum ijobiy ta'sirga erishishingiz mumkin.

Ko'pgina PS uchun turli xil ko'rsatmalarni belgilash mumkin. Bu qidiruv botiga saytning sahifalarini, kataloglarini yoki bo'limlarini skanerlash uchun kerakli cheklovlar yoki ruxsatlarni ko'rsatadi.

Maqolaning mazmuni:

• Robots.txt faylining asosiy ta'rifi
• Nima uchun Robots.txt saytga kerak - uning qidiruv tizimini reklama qilishga ta'siri
• Qanday qilib Robors.txt faylini o'zingiz yaratishingiz va misollar
• Onlayn xizmatlardan foydalangan holda Robots.txt faylini qanday yaratish mumkin
• Robots.txt faylining sintaksisini tahrirlash va to'g'rilash
• Robots.txt faylining to'g'ri konfiguratsiyasi - buyruqlarning to'g'ri yozilishi
• Xulosa

Robots.txt fayli - asosiy ta'rif

Robots.txt - 1944 yil yanvar oyida qabul qilingan qidiruv agentlari (botlar) uchun ma'lum istisno standartlariga ega. Fayl biroz .htaccess faylini eslatadi (qoidalar ham unga yozilgan). Ushbu faylning qoidalari ixtiyoriy ravishda eng keng tarqalgan PS tomonidan amalga oshiriladi. Fayl bir yoki bir nechta qoidalardan iborat bo'lishi mumkin, ularning har biri brauzerga saytdagi muayyan yo'llarga kirishni bloklaydi yoki ruxsat beradi.

Odatiy bo'lib, bu fayl saytda emas - bu barcha PS'larga saytning barcha tarkibini indekslash uchun to'liq ruxsat beradi. Bunday ruxsatnoma saytning muhim texnik sahifalarini qidiruv tizimi indeksiga kiritishga olib kelishi mumkin, ular bo'lmasligi kerak.

Nima uchun bizga Robots.txt saytida kerak - uning qidiruv tizimlarida reklamaga ta'siri

Robots.txt - saytning qidiruv tizimini optimallashtirishda eng muhim omil. Qidiruv botlari uchun to'g'ri yozilgan qoidalar to'plami tufayli siz qidiruvda sayt reytingida ma'lum bir o'sishga erishishingiz mumkin. Ushbu ko'rsatmalar nima beradi:

1. Saytning ma'lum sahifalarini, bo'limlarini, kataloglarini indekslash uchun qulflangan;
2. Foydali tarkibga ega bo'lmagan sahifalarni chiqarib tashlash;
3. Ikki nusxadagi sahifalarni yo'q qilish va boshqalar.

Ko'pgina saytlar uchun bunday indekslash cheklovlari shunchaki zarur; kichik to'liq sahifali saytlar ixtiyoriy. Biroq, har bir saytga ma'lum ko'rsatmalar qo'shilishi kerak. Masalan, indekslashni taqiqlash:

1. Ro'yxatdan o'tish sahifalari, administratorga kirish, parolni tiklash;
2. Texnik kataloglar;
3. Rss - sayt tasmasi;
4. Replytocom va boshqalar.

Qanday qilib Robors.txt faylini o'zingiz yaratishingiz va misollar

Robots.txt faylini yaratishda qiyinchiliklar hatto yangi boshlanuvchilar uchun ham paydo bo'lishi mumkin emas. Muayyan harakatlar ketma-ketligiga rioya qilish kifoya:

1. Robots.txt matnli hujjat bo'lib, har qanday mavjud matn muharriri tomonidan yaratilgan;
2. Fayl kengaytmasi .txt bo'lishi kerak;
3. Nomi majburiy robotlar;
4. Har bir sayt uchun faqat bitta faylga ruxsat beriladi;
5. Faqat saytning asosiy katalogiga joylashtirilgan;

Siz oddiy matn muharriridan foydalanishingiz kerak (muqobil sifatida bloknot). Biz robotlar nomi bilan .txt hujjat yaratamiz. Keyin biz FTP mijozi yordamida ushbu hujjatni saqlaymiz va saytning asosiy katalogiga o'tkazamiz. Bu amal qilish kerak bo'lgan asosiy qadamlar.

Mashhur CMS uchun standart Robots.txt misollari

amiro.cms uchun Robots.txt misoli:

Bitrix uchun robots.txt misoli:

dle uchun Robots.txt misoli:

Drupal robots.txt misoli:

Hostcms uchun Robots.txt misoli:

Joomla3 uchun Robots.txt misoli:

Joomla uchun robots.txt misoli:

Modx evo uchun Robots.txt misoli:

Modx uchun Robots.txt misoli:

Netcat uchun Robots.txt misoli:

Opencat uchun Robots.txt misoli:

typo3 uchun Robots.txt misoli:

Umi uchun Robots.txt misoli:

Wordpress uchun robots.txt misoli:

Mana mening WordPress CMS sayt faylimga misol:

# robots.txt User-Agent: * Ruxsat berish: /wp-json/ Ruxsat berish: /wp-login.php Ruxsat berish: /wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: /template.html Ruxsat berish: /wp-admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish: /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /*?replytocom* Ruxsat berish: /comment-page * Ruxsat berish: */teg/* Ruxsat berish: /teg/* Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */embed Ruxsat berish: /?p= Ruxsat berish: *.php Ruxsat berish: /ads.txt Ruxsat berish: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /* /*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin /admin-ajax.php User-agent: Yandex Ruxsat berish: /wp-json/ Ruxsat berish: /wp-login.php Ruxsat berish: /wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: /template.html Ruxsat berish: /wp -admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish: /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /*?replytocom* Ruxsat berish: /comment -page* Ruxsat berish: */tag/* Ruxsat berish: /tag/* Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */embed Ruxsat berish: /?s= Ruxsat berish: /?p= Ruxsat berish: *.php Ruxsat berish: /ads.txt Ruxsat berish: */amp Ruxsat berish: */amp? Ruxsat berish: */amp/ Ruxsat berish: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*. js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/admin- ajax.php Foydalanuvchi agenti: Mail.Ru Ruxsat berish: /wp-json/ Ruxsat berish: /wp-login.php Ruxsat berish: /wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: /template.html Ruxsat berish: /wp- admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish: /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /*?replytocom* Ruxsat berish: /comment- sahifa* Ruxsat berish: */tag/* Ruxsat berish: /teg/* Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */embed Ruxsat berish: /?s= Ruxsat berish : /?p= Ruxsat berish: *.php Ruxsat berish: /ads.txt Ruxsat berish: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*. gif Ruxsat berish: /wp-admin/admin-ajax.php Foydalanuvchi agenti: ia_archiver Ruxsat berish: /wp-json/ Ruxsat berish: /wp-login.php Ruxsat berish: /wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: / template.html Ruxsat berish: /wp-admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish: /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /* ?replytocom* Ruxsat berish: /comment-page* Ruxsat berish: */tag/* Ruxsat berish: /tag/* Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */ embed Ruxsat berish: /?s= Ruxsat berish: /?p= Ruxsat berish: *.php Taqiqlash: /ads.txt Ruxsat berish: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish: */?amp Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish : /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/admin-ajax.php Foydalanuvchi-agent: SputnikBot Ruxsat berish: /wp-json/ Ruxsat berish: /wp-login.php Ruxsat berish: / wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: /template.html Ruxsat berish: /wp-admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish : /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /*?replytocom* Ruxsat berish: /comment-page* Ruxsat berish: */tag/* Ruxsat berish: /tag/* Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */embed Ruxsat berish: /?s= Ruxsat berish: /?p= Ruxsat berish: *.php Ruxsat berish: /ads.txt Ruxsat berish: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish : */?amp Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: / wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/admin-ajax.php Foydalanuvchi-agent: Bingbot Ruxsat berish: /wp -json/ Ruxsat berish: /wp-login.php Ruxsat berish: /wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: /template.html Ruxsat berish: /wp-admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish: /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /*?replytocom* Ruxsat berish: /comment-page* Ruxsat berish: */tag/* Ruxsat berish: /tag/ * Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */embed Ruxsat berish: /?s= Ruxsat berish: /?p= Ruxsat berish: *.php Ruxsat berish: /ads .txt Taqiqlash: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish: */?amp Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/ *.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*.png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/ admin-ajax.php Foydalanuvchi agenti: Googlebot Ruxsat berish: /wp-json/ Ruxsat berish: /wp-login.php Ruxsat berish: /wp-register.php Ruxsat berish: /xmlrpc.php Ruxsat berish: /template.html Ruxsat berish: /wp- admin Ruxsat berish: */trackback Ruxsat berish: */comments* Ruxsat berish: *comments_* Ruxsat berish: /search Ruxsat berish: /author/* Ruxsat berish: /users/ Ruxsat berish: /*?replytocom Ruxsat berish: /*?replytocom* Ruxsat berish: /comment- sahifa* Ruxsat berish: */tag/* Ruxsat berish: /teg/* Ruxsat berish: /?s=* Ruxsat berish: /?s= Ruxsat berish: */feed Ruxsat berish: */rss Ruxsat berish: */embed Ruxsat berish: /?s= Ruxsat berish : /?p= Ruxsat berish: *.php Ruxsat berish: */stylesheet Ruxsat berish: */stylesheet* Ruxsat berish: */?amp Ruxsat berish: */*/?amp Ruxsat berish: */tag/?amp Ruxsat berish: */page/? amp Ruxsat berish: /wp-content/uploads/ Ruxsat berish: /wp-includes Ruxsat berish: /wp-content Ruxsat berish: */uploads Ruxsat berish: /*/*.js Ruxsat berish: /*/*.css Ruxsat berish: /wp-*. png Ruxsat berish: /wp-*.jpg Ruxsat berish: /wp-*.jpeg Ruxsat berish: /wp-*.gif Ruxsat berish: /wp-admin/admin-ajax.php Foydalanuvchi agenti: Googlebot-Rasmga ruxsat berish: /wp-content /uploads/ User-agent: Yandex-Rasmlarga ruxsat berish: /wp-content/uploads/ User-agent: Mail.Ru-Images Ruxsat berish: /wp-content/uploads/ User-agent: ia_archiver-Rasmlarga ruxsat berish: /wp-content /uploads/ User-agent: Bingbot-Images Ruxsat beradi: /wp-content/uploads/ Xost: https://nicola.top Sayt xaritasi: https://nicola.top/sitemap_index.xml Sayt xaritasi: https://nicola.top /?feed=googleimagesitemap

Umid qilamanki, bu sizga foydali bo'ladi. Iltimos, qoidalarni saytingizning fikrlariga muvofiq qo'llang. Har bir resurs o'z yondashuviga ega bo'lishi kerak.

Ayni paytda mening faylim umumiy qilib qisqartirilgan. Siz u bilan nicola.top/robots.txt saytiga kirib tanishishingiz mumkin

Onlayn xizmatlardan foydalangan holda Robots.txt faylini qanday yaratish mumkin

Bu usul eng oson va tezkor bo'lib, Robots.txt-ni mustaqil ravishda yaratishdan qo'rqadigan yoki shunchaki dangasa bo'lganlar uchun javob beradi. Ushbu faylni yaratishni taklif qiluvchi ko'plab xizmatlar mavjud. Ammo bu usul bilan bog'liq ba'zi nuanslarni ko'rib chiqishga arziydi. Masalan:

• Agentga nimani taqiqlash yoki ruxsat berishni xohlayotganingizni oldindan hisobga olishingiz kerak.
• Tayyor faylni saytga yuklashdan oldin uni majburiy tekshirish talab qilinadi.
• Ehtiyot bo'ling, chunki noto'g'ri yaratilgan Robots.txt onlayn fayli ayanchli vaziyatga olib keladi. Shunday qilib, apriori bo'lmasligi kerak bo'lgan saytning texnik va boshqa sahifalari qidiruvga kirishi mumkin.
• Shunga qaramay, to'g'ri moslashtirilgan robotni yaratish uchun vaqt va kuch sarflash yaxshiroqdir. Shunday qilib, siz saytingizga mos keladigan taqiqlar va ruxsatlarning asosli tuzilmasini qayta yaratishingiz mumkin.

Robots.txt faylining sintaksisini tahrirlash va to'g'rilash

Muvaffaqiyatli Robots.txt-ni yaratganingizdan so'ng, uni osongina tahrirlashingiz va xohlaganingizcha o'zgartirishingiz mumkin. Bunday holda, ba'zi qoidalar va vakolatli sintaksisni hisobga olish kerak. Vaqt o'tishi bilan siz ushbu faylni qayta-qayta o'zgartirasiz. Ammo unutmang, tahrir qilgandan so'ng, ushbu faylni saytga yuklashingiz kerak bo'ladi. Shunday qilib, qidiruv robotlari uchun uning mazmunini yangilash.

Robots.txt-ni yozish juda oddiy, buning sababi bu fayl dizaynining ancha sodda tuzilishidir. Qoidalarni yozishda asosiy narsa qat'iy belgilangan sintaksisdan foydalanishdir. Ushbu qoidalarga deyarli barcha asosiy PSlar ixtiyoriy ravishda amal qiladi. Robots.txt faylida ko'p xatolarga yo'l qo'ymaslik uchun ba'zi qoidalar ro'yxati:

1. Bitta satrda bir nechta ko'rsatilgan direktivalar bo'lmasligi kerak;
2. Har bir qoida yangi satrdan boshlanadi;
3. Qator boshida bo'sh joy olib tashlandi;
4. # belgisidan keyin sharhlarga ruxsat beriladi;
5. Bo'sh robotlar to'liq indeksatsiya ruxsati sifatida hisoblanadi;
6. Ushbu fayl nomi faqat "robotlar" formatida mumkin;
7. Fayl hajmi 32 kb dan oshmasligi kerak;
8. Allow va Disallow direktivalarida faqat bitta qoidaga ruxsat berilgan. Allow: yoki Disallow: so‘ng bo‘sh qiymat to‘liq ruxsatga teng;
9. Barcha qoidalar kichik harflar bilan yozilishi kerak;
10. Fayl har doim mavjud bo'lishi kerak;
11. Belgilangan qoidalardan keyingi bo'sh satr Foydalanuvchi-agent direktivasi qoidalarining to'liq tugashini bildiradi;
12. Har bir PS uchun qoidalarni alohida belgilash maqsadga muvofiqdir;
13. Agar qoida sayt katalogi bo'lsa, uning boshlanishidan oldin slash (/) qo'yishni unutmang;
14. Satrda yoki qoidada tirnoq bo'lmasligi kerak;
15. Sizning saytingizga mos kelmaydigan qoidalarning qat'iy tuzilishini ko'rib chiqish kerak;
16. Robots.txt minimalist bo'lishi va mo'ljallangan ma'noni aniq etkazishi kerak;

Robots.txt faylining to'g'ri konfiguratsiyasi - buyruqlarning to'g'ri yozilishi

Robotlardan foydalanishda ijobiy natijaga erishish uchun siz uni to'g'ri sozlashingiz kerak. Ko'rsatmalar bilan ushbu faylning barcha asosiy buyruqlari Google va Yandex eng yirik qidiruv tizimlari tomonidan ta'qib qilinadi. Boshqa PS ba'zi ko'rsatmalarni e'tiborsiz qoldirishi mumkin. Robots.txt ni ko'pchilik qidiruv tizimlariga qanday javob berish mumkin? Bu erda siz yuqorida muhokama qilingan ushbu fayl bilan ishlashning asosiy qoidalarini tushunishingiz kerak.
Asosiy buyruqlarni ko'rib chiqing:

• Foydalanuvchi agenti: * — ko'rsatmalar mutlaqo barcha ps botlariga tegishli bo'ladi. Shuningdek, ma'lum qidiruv tizimlarini alohida ko'rsatish mumkin, masalan: User-Agent: GoogleBot va User-Agent: YandexBot. Shunday qilib, muhim PS uchun qoidalar to'g'ri belgilangan.
• Ruxsat bermaslik: - (sahifa, katalog yoki fayllarni) skanerlash va indekslashni butunlay taqiqlaydi.
• ruxsat berish: - (sahifa, katalog yoki fayllarni) skanerlash va indekslashga to'liq ruxsat beradi.
• Toza Param: - dinamik tarkibga ega sayt sahifalarini chiqarib tashlash uchun kerak. Ushbu qoida tufayli siz saytdagi takroriy tarkibdan xalos bo'lishingiz mumkin.
• Tekshirish kechikishi: - qoida p-botlar uchun saytdan hujjatlarni yuklab olish uchun vaqt oralig'ini belgilaydi. Serverdagi yukni sezilarli darajada kamaytirish imkonini beradi. Masalan: “Crawl-delay: 5” n-robotga hujjatlarni saytdan yuklab olish har 5 soniyada bir martadan ko'p bo'lmasligini aytadi.
• Xost: your_site.ru - Asosiy sayt oynasi uchun javobgar. Ushbu direktivada siz saytning ustuvor versiyasini ko'rsatishingiz kerak.
• Sayt xaritasi: http://your_site.ru/sitemap.xml - siz taxmin qilganingizdek, ushbu ko'rsatma p-botga saytda Sayt xaritasi mavjudligi haqida xabar beradi.
• # - izoh qoldirish imkonini beradi. Siz faqat funt belgisidan keyin fikr bildirishingiz mumkin. U yangi qatorga ham, direktivaning davomi sifatida ham joylashtirilishi mumkin. Ko'rsatmalarni o'tkazishda bu variantlarning barchasi botlar tomonidan e'tiborga olinmaydi.

Google yoki Yandex yordamida Robots.txt ni qanday tekshirish mumkin

Ajablanarlisi shundaki, ushbu faylni tekshirish uchun faqat Google yoki Yandex webmaster panellari kerak. Bu esa, o'z navbatida, xatolarni topishni ancha osonlashtiradi.

• Google Webmaster - chap menyuda "Scanning" ni va keyin "Robots.txt File Check Tool" yorlig'ini tanlang. Keyin, paydo bo'lgan oynaning pastki qatoriga fayl nomini qo'shing. Keyin "Tekshirish" tugmasini bosing va Google boti sizning robotlaringizni qanday ko'rishini ko'ring.
• Yandex Webmaster - chap menyuda "Asboblar" va "Robots.txt tahlili" ni tanlang. Shundan so'ng, paydo bo'lgan oynada "Tekshirish" tugmasini bosing.

Shuni ta'kidlash kerakki, ushbu faylni tekshirish uchun ko'plab onlayn validatorlar mavjud. Men har doim qo'lda bo'lgan eng arzonlari haqida gapirdim.

Xulosa

Barcha saytlar uchun bitta mukammal robot yozish mumkin emas. Buning sababi saytlarning o'zlari bo'lib, ularning ba'zilari qo'lda qilingan, boshqalari esa turli CMSlarda joylashgan. Mutlaqo barcha saytlar boshqa katalog tuzilishi va boshqa narsalarga ega.

Shuning uchun, har bir Webmaster oddiygina p-botlar uchun o'ziga xos qoidalar to'plamini yaratishi shart. Bunday fayl sizning ustuvorliklaringizga javob beradi va maxfiy ma'lumotlarni qidirishga kirishga ruxsat bermaydi. Buning yordamida indeks keraksiz axlatsiz yuqori sifatli tarkibni o'z ichiga oladi. Saytingizda kerakli yo'naltirishlarni ham o'rnatishingizni tavsiya qilaman. Bu dublikatlardan qochadi, vaznni kerakli sahifalarga o'tkazadi.

Ushbu maqolani o'qish:

• Googleda texnik SEO nima? Eng yaxshi amaliyot bo'yicha qo'llanma
• .htaccess - Kesh yordamida sayt sahifalarini keshlash

O'qiganingiz uchun tashakkur: SEO HELPER | NICOLA.TOP