Bir web sitesi için robots.txt dosyası nasıl oluşturulur - robotları düzeltin

Yazdır · Время на чтение: 11min · tarafından · Yayınlanan · Güncellenmiş

çoğaltmakmakaleyi dinle

Bir robots.txt dosyası nasıl oluşturulur?

hakkında ayrıntılı talimatlar robots.txt dosyası nasıl oluşturulur sitesi için. Robots.txt, sitenin tam teşekküllü bir arama motoru optimizasyonunun en gerekli yönlerinden biridir ve web sitenizin güvenliği. Bu dosyanın doğru kullanım koşullarını gözlemleyerek site üzerinde belirli bir olumlu etki elde edebilirsiniz.

Çoğu PS için çeşitli talimatlar belirlemek mümkündür. Arama botuna gerekli kısıtlamaları veya izinleri gösteren sitenin sayfalarını, dizinlerini veya bölümlerini tarama.

Robots.txt Dosyası - Temel Tanım

robots.txt - Ocak 1944'te kabul edilen arama aracıları (botlar) için belirli istisna standartlarına sahiptir. Dosya, dosya gibi bir şey .htaccess (aynı zamanda kuralları da belirler). Bu dosyanın kurallarına gönüllü olarak en yaygın PS tarafından uyulur. Dosya, her biri tarayıcının sitedeki belirli yollara erişmesini engelleyen veya izin veren bir veya daha fazla kuraldan oluşabilir.

Varsayılan olarak, bu dosya sitede değildir - bu da tüm PS'lere sitenin tüm içeriğini dizine eklemek için tam izin verir. Bu izin, sitenin önemli teknik sayfalarının orada olmaması gereken arama motoru dizinine dahil edilmesine yol açabilir.

Sitede neden Robots.txt'e ihtiyacımız var - bunun arama motorlarında tanıtım üzerindeki etkisi

Robots.txt, bir sitenin arama motoru optimizasyonunda en önemli faktördür. Arama botları için düzgün yazılmış bir dizi kural sayesinde, bir sitenin aramadaki sıralamasında belirli bir artış sağlayabilirsiniz. Bu talimatlar ne veriyor:

  1. Sitenin belirli sayfalarını, bölümlerini, dizinlerini indekslemek için kilitli;
  2. Yararlı içerik içermeyen sayfaların hariç tutulması;
  3. Yinelenen sayfaların ortadan kaldırılması ve daha fazlası.

Çoğu site için, bu tür indeksleme kısıtlamaları basitçe gereklidir; küçük tam sayfa siteler isteğe bağlıdır. Ancak, her siteye belirli yönergeler eklenmelidir. Örneğin, indeksleme yasakları:

  1. Kayıt sayfaları, yönetici girişi, şifre kurtarma;
  2. Teknik kataloglar;
  3. Rss - site beslemeleri;
  4. Replytocom ve daha fazlası.

Bir Robors.txt dosyasını kendiniz nasıl oluşturabilirsiniz artı örnekler

Bir Robots.txt dosyası oluşturmadaki zorluklar, yeni başlayanlar için bile ortaya çıkamaz. Belirli bir eylem sırasını takip etmek yeterlidir:

  1. Robots.txt bir metin belgesidir ve mevcut herhangi bir metin düzenleyici tarafından oluşturulur;
  2. Dosya uzantısı .txt olmalıdır;
  3. Adı zorunlu robotlar;
  4. Site başına yalnızca bir dosyaya izin verilir;
  5. Yalnızca sitenin kök dizinine yerleştirilir;

Sıradan bir metin düzenleyici (alternatif olarak not defteri) kullanmanız gerekir. Robots adıyla bir .txt belgesi oluşturuyoruz. Ardından bu belgeyi bir FTP istemcisi kullanarak kaydedip sitenin kök dizinine aktarıyoruz. Bunlar izlenecek ana adımlardır.

Popüler CMS için standart Robots.txt örnekleri

Amiro.cms için robots.txt örneği:

amiro.cms için robots.txt.

bitrix için bir robots.txt örneği:

bitrix için robots.txt.

bitrix1 için robots.txt.

dle için robots.txt örneği:

dle için robots.txt.

Drupal robots.txt örneği:

drupal için robots.txt.

drupal1 için robots.txt.

hostcms için robots.txt örneği:

hostcm'ler için robots.txt.

joomla3 için robots.txt örneği:

joomla3 için robots.txt.

joomla için örnek robots.txt:

joomla için robots.txt.

modx evo için robots.txt örneği:

modx evo için robots.txt.

modx için robots.txt örneği:

modx için robots.txt.

netcat için robots.txt örneği:

netcat için robots.txt.

opencat için robots.txt örneği:

opencat için robots.txt.

typeo3 için robots.txt örneği:

yazım hatası3 için robots.txt.

umi için robots.txt örneği:

umi için robots.txt.

Wordpress için örnek robots.txt:

wordpress için robots.txt.

İşte WordPress CMS site dosyamın bir örneği:

# robots.txt
User-Agent: *
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */amp
Disallow: */amp?
Disallow: */amp/
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Mail.Ru
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: ia_archiver
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: SputnikBot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Bingbot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: */*/?amp
Allow: */tag/?amp
Allow: */page/?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Yandex-Images
Allow: /wp-content/uploads/

User-agent: Mail.Ru-Images
Allow: /wp-content/uploads/

User-agent: ia_archiver-Images
Allow: /wp-content/uploads/

User-agent: Bingbot-Images
Allow: /wp-content/uploads/


Host: https://nicola.top
Sitemap: https://nicola.top/sitemap_index.xml
Sitemap: https://nicola.top/?feed=googleimagesitemap

Umarım sizin için yararlı olur. Lütfen kuralları sitenizin değerlendirmelerine göre uygulayın. Her kaynağın kendi yaklaşımı olmalıdır.

Şu anda dosyam jenerik olarak kısaltıldı. nicola.top/robots.txt adresine giderek onunla tanışabilirsiniz.

Çevrimiçi hizmetleri kullanarak bir Robots.txt dosyası nasıl oluşturulur?

Bu yöntem, Robots.txt'yi kendi başlarına oluşturmaktan korkan veya tembel olanlar için en kolay ve en hızlı yöntemdir. Bu dosyanın oluşturulmasını sağlayan birçok hizmet var. Ancak bu yöntemle ilgili bazı nüansları dikkate almaya değer. Örneğin:

  • Temsilciyi tam olarak neyi yasaklamak veya izin vermek istediğinizi önceden hesaba katmak gerekir.
  • Bitmiş dosyanın siteye yüklenmeden önce zorunlu olarak doğrulanması gerekir.
  • Dikkatli olun, çünkü yanlış oluşturulmuş bir Robots.txt çevrimiçi dosyası içler acısı bir duruma yol açacaktır. Böylece sitenin a priori olmaması gereken teknik ve diğer sayfaları aramaya girebilir.
  • Yine de, doğru bir özel robot oluşturmak için zaman ve çaba harcamak daha iyidir. Bu şekilde, sitenize uygun, sağlam temelli bir yasaklar ve izinler yapısı oluşturabilirsiniz.

Robots.txt Dosyasının Sözdizimini Düzenleme ve Düzeltme

Robots.txt dosyasını başarıyla oluşturduktan sonra, onu istediğiniz gibi kolayca düzenleyebilir ve değiştirebilirsiniz. Bu durumda, bazı kurallar ve yetkin söz dizimi dikkate alınmalıdır. Zamanla, bu dosyayı tekrar tekrar değiştireceksiniz. Ancak unutmayın, düzenledikten sonra bu dosyayı siteye yüklemeniz gerekecek. Böylece arama robotları için içeriğini güncelliyor.

Robots.txt yazmak çok basittir, bunun nedeni bu dosyanın tasarımının oldukça basit yapısıdır. Kural yazarken ana şey, kesin olarak tanımlanmış bir sözdizimi kullanmaktır. Bu kurallara gönüllü olarak neredeyse tüm büyük PS'ler tarafından uyulur. Robots.txt dosyasındaki çoğu hatayı önlemek için bazı kuralların bir listesi:

  1. Bir satırda birden fazla belirtilen yönerge olmamalıdır;
  2. Her kural yeni bir satırda başlar;
  3. Satır başındaki boşluk kaldırıldı;
  4. # karakterinden sonra yorumlara izin verilir;
  5. Boş Robotlar, tam indeksleme izni olarak sayılacaktır;
  6. Bu dosyanın adı yalnızca geçerli biçimde "robotlar" olarak mümkündür;
  7. Dosya boyutu 32 kb'yi geçmemelidir;
  8. Allow ve Disallow yönergelerinde yalnızca bir kurala izin verilir. Allow: veya Disallow: öğesinden sonra boş bir değer, tam izne eşdeğerdir;
  9. Tüm kurallar küçük harfle yazılmalıdır;
  10. Dosya her zaman kullanılabilir olmalıdır;
  11. Belirtilen kurallardan sonraki boş bir satır, User-agent yönergesinin kurallarının tamamen sona erdiğini gösterir;
  12. Kuralların her PS için ayrı ayrı belirtilmesi arzu edilir;
  13. Kural bir site diziniyse, başlangıcından önce eğik çizgi (/) koyduğunuzdan emin olun;
  14. Bir dizede veya kuralda tırnak olmamalıdır;
  15. Artık sitenizle eşleşen katı bir kurallar yapısı düşünmek gerekir;
  16. Robots.txt minimalist olmalı ve amaçlanan anlamı açıkça ifade etmelidir;

Robots.txt dosyasının doğru şekilde yapılandırılması - komutların doğru yazılması

Robotları kullanırken olumlu bir sonuç almak için onu doğru şekilde yapılandırmanız gerekir. Bu dosyanın tüm ana komutlarını talimatlarla birlikte en büyük arama motorları Google ve Yandex takip eder. Diğer PS'ler bazı talimatları görmezden gelebilir. Robots.txt dosyasını çoğu arama motoru için nasıl daha duyarlı hale getirebilirim? Burada, yukarıda tartışılan bu dosyayla çalışmak için temel kuralları anlamanız gerekir.
Temel komutları göz önünde bulundurun:

  • Kullanıcı Aracısı: * - talimatlar kesinlikle tüm ps botları için geçerli olacaktır. Belirli arama motorlarını ayrı ayrı belirtmek de mümkündür, örneğin: User-Agent: GoogleBot ve User-Agent: YandexBot. Böylece, önemli PS'ler için kurallar doğru bir şekilde belirlenir.
  • İzin verme: - (bir sayfanın, dizinin veya dosyaların) taranmasını ve indekslenmesini tamamen yasaklar.
  • izin vermek: - (bir sayfanın, dizinin veya dosyaların) taranmasına ve indekslenmesine tamamen izin verir.
  • Temiz Param: - dinamik içeriğe sahip site sayfalarını hariç tutmak için gerekli. Bu kural sayesinde sitedeki yinelenen içerikten kurtulabilirsiniz.
  • Tarama gecikmesi: - kural, p-bot'ların siteden belge indirmesi için zaman aralığını belirtir. Sunucu üzerindeki yükü önemli ölçüde azaltmanıza olanak tanır. Örneğin: "Tarama gecikmesi: 5", n-robot'a siteden belge indirmenin her 5 saniyede bir defadan fazla mümkün olmadığını söyleyecektir.
  • Barındırıcı: siteniz.ru - Ana site aynasından sorumludur. Bu yönergede, sitenin öncelikli sürümünü belirtmelisiniz.
  • Site haritası: http://your_site.ru/sitemap.xml - tahmin edebileceğiniz gibi, bu yönerge p-bot'a şunu söyler: Site Haritasının kullanılabilirliği hakkında İnternet üzerinden.
  • # - yorum bırakmanıza izin verir. Sadece diyez işaretinden sonra yorum yapabilirsiniz. Hem yeni bir satıra konulabilir hem de direktifin devamı olarak konulabilir. Talimatları iletirken bu seçeneklerin tümü botlar tarafından göz ardı edilecektir.

Google veya Yandex kullanarak Robots.txt nasıl kontrol edilir

Garip bir şekilde, bu dosyayı kontrol etmek için yalnızca Google veya Yandex web yöneticisi panellerine ihtiyaç vardır. Bu da hataları bulmayı çok daha kolaylaştırır.

  • Google Web Yöneticisi - soldaki menüden "Tarama"yı ve ardından "Robots.txt Dosya Kontrol Aracı" sekmesini seçin. Ardından açılan pencerenin alt satırına dosyanın adını ekleyin. Ardından "Kontrol Et"i tıklayın ve Google botunun robotlarınızı nasıl gördüğünü görün.
  • Yandex Webmaster - soldaki menüden "Araçlar" ve "Robots.txt Analizi"ni seçin. Bundan sonra, beliren pencerede, sadece "Kontrol Et" düğmesine tıklayın.

Bu dosyayı kontrol etmek için birçok çevrimiçi doğrulayıcı olduğunu belirtmekte fayda var. Her zaman elinizin altında olan en uygun fiyatlı olanlardan bahsettim.

Çözüm

Tüm siteler için mükemmel bir robot yazmak imkansızdır. Bunun sebebi ise sitelerin bir kısmı elle yapılmış bir kısmı ise farklı CMS'lerde yer almasıdır. Kesinlikle tüm sitelerin farklı bir dizin yapısı ve diğer şeyleri vardır.

Bu nedenle, her Web Yöneticisi, p-bot'lar için kendi benzersiz kural setini oluşturmakla yükümlüdür. Böyle bir dosya önceliklerinizi karşılayacak ve gizli bilgi arayışına girmenize izin vermeyecektir. Bu sayede indeks, gereksiz çöplük içermeyen yüksek kaliteli içerik içerecektir. Sitenizde gerekli yönlendirmeleri de kurmanızı tavsiye ederim. Bu, kopyaları önleyecek, ağırlığı gerekli sayfalara aktaracaktır.

Nicola Top'u okuduğunuz için teşekkür ederiz.

Gönderi ne kadar yararlı?

Derecelendirmek için ifadeye tıklayın!

Ortalama puanı 5 / 5. Derecelendirme sayısı: 81

Henüz derecelendirme yok. Önce derecelendirin.

Şunlar da hoşunuza gidebilir...

1 Yanıt

  1. Alycia dedi ki:

    Eğleniyorum, çünkü tam olarak aradığım şeyi buldum.
    Dört günlük uzun avımı bitirdin! Tanrı seni korusun adamım. İyi günler.
    Hoşçakal

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

altı + on yedi =