Bir web sitesi için robots.txt dosyası nasıl oluşturulur - robotları düzeltin

Bu makaleyi dinle

hakkında ayrıntılı talimatlar robots.txt dosyası nasıl oluşturulur sitesi için. Robots.txt, sitenin tam teşekküllü arama motoru optimizasyonunun ve sitenizin güvenliğinin en önemli yönlerinden biridir. Bu dosyanın doğru kullanım koşullarını gözlemleyerek site üzerinde belirli bir olumlu etki elde edebilirsiniz.

Çoğu PS için çeşitli talimatlar belirlemek mümkündür. Arama botuna sitenin sayfalarını, dizinlerini veya bölümlerini taramak için gerekli kısıtlamaları veya izinleri gösterir.

Makalenin içeriği:

• Robots.txt dosyası ana tanımı
• Sitede neden Robots.txt dosyasına ihtiyaç vardır - bunun arama motoru tanıtımı üzerindeki etkisi
• Bir Robors.txt dosyasını kendiniz nasıl oluşturabilirsiniz artı örnekler
• Çevrimiçi hizmetleri kullanarak bir Robots.txt dosyası nasıl oluşturulur?
• Robots.txt Dosyasının Sözdizimini Düzenleme ve Düzeltme
• Robots.txt dosyasının doğru şekilde yapılandırılması - komutların doğru yazılması
• Çözüm

Robots.txt Dosyası - Temel Tanım

robots.txt - Ocak 1944'te kabul edilen arama aracıları (botlar) için belirli istisna standartlarına sahiptir. Dosya biraz .htaccess dosyasını andırıyor (kurallar da ona yazılır). Bu dosyanın kurallarına gönüllü olarak en yaygın PS tarafından uyulur. Dosya, her biri tarayıcının sitedeki belirli yollara erişmesini engelleyen veya izin veren bir veya daha fazla kuraldan oluşabilir.

Varsayılan olarak, bu dosya sitede değildir - bu da tüm PS'lere sitenin tüm içeriğini dizine eklemek için tam izin verir. Bu izin, sitenin önemli teknik sayfalarının orada olmaması gereken arama motoru dizinine dahil edilmesine yol açabilir.

Sitede neden Robots.txt'e ihtiyacımız var - bunun arama motorlarında tanıtım üzerindeki etkisi

Robots.txt, bir sitenin arama motoru optimizasyonunda en önemli faktördür. Arama botları için düzgün yazılmış bir dizi kural sayesinde, bir sitenin aramadaki sıralamasında belirli bir artış sağlayabilirsiniz. Bu talimatlar ne veriyor:

1. Sitenin belirli sayfalarını, bölümlerini, dizinlerini indekslemek için kilitli;
2. Yararlı içerik içermeyen sayfaların hariç tutulması;
3. Yinelenen sayfaların ortadan kaldırılması ve daha fazlası.

Çoğu site için, bu tür indeksleme kısıtlamaları basitçe gereklidir; küçük tam sayfa siteler isteğe bağlıdır. Ancak, her siteye belirli yönergeler eklenmelidir. Örneğin, indeksleme yasakları:

1. Kayıt sayfaları, yönetici girişi, şifre kurtarma;
2. Teknik kataloglar;
3. Rss - site beslemeleri;
4. Replytocom ve daha fazlası.

Bir Robors.txt dosyasını kendiniz nasıl oluşturabilirsiniz artı örnekler

Bir Robots.txt dosyası oluşturmadaki zorluklar, yeni başlayanlar için bile ortaya çıkamaz. Belirli bir eylem sırasını takip etmek yeterlidir:

1. Robots.txt bir metin belgesidir ve mevcut herhangi bir metin düzenleyici tarafından oluşturulur;
2. Dosya uzantısı .txt olmalıdır;
3. Adı zorunlu robotlar;
4. Site başına yalnızca bir dosyaya izin verilir;
5. Yalnızca sitenin kök dizinine yerleştirilir;

Sıradan bir metin düzenleyici (alternatif olarak not defteri) kullanmanız gerekir. Robots adıyla bir .txt belgesi oluşturuyoruz. Ardından bu belgeyi bir FTP istemcisi kullanarak kaydedip sitenin kök dizinine aktarıyoruz. Bunlar izlenecek ana adımlardır.

Popüler CMS için standart Robots.txt örnekleri

Amiro.cms için robots.txt örneği:

bitrix için bir robots.txt örneği:

dle için robots.txt örneği:

Drupal robots.txt örneği:

hostcms için robots.txt örneği:

joomla3 için robots.txt örneği:

joomla için örnek robots.txt:

modx evo için robots.txt örneği:

modx için robots.txt örneği:

netcat için robots.txt örneği:

opencat için robots.txt örneği:

typeo3 için robots.txt örneği:

umi için robots.txt örneği:

Wordpress için örnek robots.txt:

İşte WordPress CMS site dosyamın bir örneği:

# robots.txt User-Agent: * İzin verme: /wp-json/ İzin verme: /wp-login.php İzin verme: /wp-register.php İzin verme: /xmlrpc.php İzin verme: /template.html İzin verme: /wp-admin İzin verme: */trackback İzin verme: */yorumlar* İzin verme: *yorumlar_* İzin verme: /search İzin verme: /yazar/* İzin verme: /users/ İzin verme: /*?replytocom İzin verme: /*?replytocom* İzin verme: /yorum sayfası * İzin verme: */tag/* İzin verme: /tag/* İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */embed İzin verme: /?p= İzin verme: *.php İzin Verme: /ads.txt İzin Verme: */stylesheet İzin Verme: */stylesheet* İzin Ver: /wp-content/uploads/ İzin Ver: /wp-includes İzin Ver: /wp-content İzin Ver: */uploads İzin Ver: /* /*.js İzin ver: /*/*.css İzin ver: /wp-*.png İzin ver: /wp-*.jpg İzin ver: /wp-*.jpeg İzin ver: /wp-*.gif İzin ver: /wp-admin /admin-ajax.php Kullanıcı aracısı: Yandex İzin verme: /wp-json/ İzin verme: /wp-login.php İzin verme: /wp-register.php İzin verme: /xmlrpc.php İzin verme: /template.html İzin verme: /wp -admin İzin verme: */trackback İzin verme: */yorumlar* İzin verme: *yorumlar_* İzin verme: /search İzin verme: /yazar/* İzin verme: /users/ İzin verme: /*?replytocom İzin verme: /*?replytocom* İzin verme: /yorum -page* İzin verme: */tag/* İzin verme: /tag/* İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */embed İzin verme: /?s= İzin verme: /?p= İzin verme: *.php İzin verme: /ads.txt İzin verme: */amp İzin verme: */amp? İzin verme: */amp/ İzin verme: */stylesheet İzin verme: */stylesheet* İzin ver: /wp-content/uploads/ İzin ver: /wp-includes İzin ver: /wp-content İzin ver: */uploads İzin ver: /*/*. js İzin Ver: /*/*.css İzin Ver: /wp-*.png İzin Ver: /wp-*.jpg İzin Ver: /wp-*.jpeg İzin Ver: /wp-*.gif İzin Ver: /wp-admin/admin- ajax.php User-agent: Mail.Ru Disallow: /wp-json/ Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /template.html Disallow: /wp- admin İzin verme: */trackback İzin verme: */yorumlar* İzin verme: *yorumlar_* İzin verme: /search İzin verme: /yazar/* İzin verme: /users/ İzin verme: /*?replytocom İzin verme: /*?replytocom* İzin verme: /yorum- sayfa* İzin verme: */tag/* İzin verme: /tag/* İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */embed İzin verme: /?s= İzin verme : /?p= İzin verme: *.php İzin verme: /ads.txt İzin verme: */stylesheet İzin verme: */stylesheet* İzin ver: /wp-content/uploads/ İzin ver: /wp-includes İzin ver: /wp-content İzin ver: */uploads İzin ver: /*/*.js İzin ver: /*/*.css İzin ver: /wp-*.png İzin ver: /wp-*.jpg İzin ver: /wp-*.jpeg İzin ver: /wp-*. gif İzin ver: /wp-admin/admin-ajax.php Kullanıcı aracısı: ia_archiver İzin verme: /wp-json/ İzin verme: /wp-login.php İzin verme: /wp-register.php İzin verme: /xmlrpc.php İzin verme: / template.html İzin verme: /wp-admin İzin verme: */trackback İzin verme: */yorumlar* İzin verme: *yorumlar_* İzin verme: /search İzin verme: /yazar/* İzin verme: /users/ İzin verme: /*?replytocom İzin verme: /* ?replytocom* İzin verme: /comment-page* İzin verme: */tag/* İzin verme: /tag/* İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */ embed İzin verme: /?s= İzin verme: /?p= İzin verme: *.php İzin verme: /ads.txt İzin verme: */stylesheet İzin verme: */stylesheet* İzin ver: */?amp İzin ver: /wp-content/uploads/ İzin ver: /wp-includes İzin ver: /wp-content İzin ver: */uploads İzin ver: /*/*.js İzin ver: /*/*.css İzin ver: /wp-*.png İzin ver: /wp-*.jpg İzin ver : /wp-*.jpeg İzin Ver: /wp-*.gif İzin Ver: /wp-admin/admin-ajax.php Kullanıcı Aracısı: SputnikBot İzin Verme: /wp-json/ İzin Verme: /wp-login.php İzin Verme: / wp-register.php İzin verme: /xmlrpc.php İzin verme: /template.html İzin verme: /wp-admin İzin verme: */trackback İzin verme: */comments* İzin verme: *comments_* İzin verme: /search İzin verme: /yazar/* İzin verme : /users/ İzin verme: /*?replytocom İzin verme: /*?replytocom* İzin verme: /comment-page* İzin verme: */tag/* İzin verme: /tag/* İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */embed İzin verme: /?s= İzin verme: /?p= İzin verme: *.php İzin verme: /ads.txt İzin verme: */stylesheet İzin verme: */stylesheet* İzin ver : */?amp İzin Ver: /wp-content/uploads/ İzin Ver: /wp-includes İzin Ver: /wp-content İzin Ver: */uploads İzin Ver: /*/*.js İzin Ver: /*/*.css İzin Ver: / wp-*.png İzin ver: /wp-*.jpg İzin ver: /wp-*.jpeg İzin ver: /wp-*.gif İzin ver: /wp-admin/admin-ajax.php Kullanıcı aracısı: Bingbot İzin verme: /wp -json/ İzin verme: /wp-login.php İzin verme: /wp-register.php İzin verme: /xmlrpc.php İzin verme: /template.html İzin verme: /wp-admin İzin verme: */trackback İzin verme: */comments* İzin verme: *comments_* İzin verme: /search İzin verme: /yazar/* İzin verme: /users/ İzin verme: /*?replytocom İzin verme: /*?replytocom* İzin verme: /comment-page* İzin verme: */tag/* İzin verme: /tag/ * İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */embed İzin verme: /?s= İzin verme: /?p= İzin verme: *.php İzin verme: /ads .txt İzin verme: */stylesheet İzin verme: */stylesheet* İzin ver: */?amp İzin ver: /wp-content/uploads/ İzin ver: /wp-includes İzin ver: /wp-content İzin ver: */uploads İzin ver: /*/ *.js İzin Ver: /*/*.css İzin Ver: /wp-*.png İzin Ver: /wp-*.jpg İzin Ver: /wp-*.jpeg İzin Ver: /wp-*.gif İzin Ver: /wp-admin/ admin-ajax.php Kullanıcı aracısı: Googlebot İzin verme: /wp-json/ İzin verme: /wp-login.php İzin verme: /wp-register.php İzin verme: /xmlrpc.php İzin verme: /template.html İzin verme: /wp- admin İzin verme: */trackback İzin verme: */yorumlar* İzin verme: *yorumlar_* İzin verme: /search İzin verme: /yazar/* İzin verme: /users/ İzin verme: /*?replytocom İzin verme: /*?replytocom* İzin verme: /yorum- sayfa* İzin verme: */tag/* İzin verme: /tag/* İzin verme: /?s=* İzin verme: /?s= İzin verme: */feed İzin verme: */rss İzin verme: */embed İzin verme: /?s= İzin verme : /?p= İzin Verme: *.php İzin Verme: */stylesheet İzin Verme: */stylesheet* İzin Ver: */?amp İzin Ver: */*/?amp İzin Ver: */tag/?amp İzin Ver: */page/? amp İzin ver: /wp-content/uploads/ İzin ver: /wp-includes İzin ver: /wp-content İzin ver: */uploads İzin ver: /*/*.js İzin ver: /*/*.css İzin ver: /wp-*. png İzin ver: /wp-*.jpg İzin ver: /wp-*.jpeg İzin ver: /wp-*.gif İzin ver: /wp-admin/admin-ajax.php Kullanıcı aracısı: Googlebot-Image İzin ver: /wp-content /uploads/ User-agent: Yandex-Images İzin ver: /wp-content/uploads/ User-agent: Mail.Ru-Images İzin ver: /wp-content/uploads/ User-agent: ia_archiver-Images İzin ver: /wp-content /uploads/ Kullanıcı Aracısı: Bingbot-Images İzin Ver: /wp-content/uploads/ Ana Bilgisayar: https://nicola.top Site Haritası: https://nicola.top/sitemap_index.xml Site Haritası: https://nicola.top /?feed=googleresimsite haritası

Umarım sizin için yararlı olur. Lütfen kuralları sitenizin değerlendirmelerine göre uygulayın. Her kaynağın kendi yaklaşımı olmalıdır.

Şu anda dosyam jenerik olarak kısaltıldı. nicola.top/robots.txt adresine giderek onunla tanışabilirsiniz.

Çevrimiçi hizmetleri kullanarak bir Robots.txt dosyası nasıl oluşturulur?

Bu yöntem, Robots.txt'yi kendi başlarına oluşturmaktan korkan veya tembel olanlar için en kolay ve en hızlı yöntemdir. Bu dosyanın oluşturulmasını sağlayan birçok hizmet var. Ancak bu yöntemle ilgili bazı nüansları dikkate almaya değer. Örneğin:

• Temsilciyi tam olarak neyi yasaklamak veya izin vermek istediğinizi önceden hesaba katmak gerekir.
• Bitmiş dosyanın siteye yüklenmeden önce zorunlu olarak doğrulanması gerekir.
• Dikkatli olun, çünkü yanlış oluşturulmuş bir Robots.txt çevrimiçi dosyası içler acısı bir duruma yol açacaktır. Böylece sitenin a priori olmaması gereken teknik ve diğer sayfaları aramaya girebilir.
• Yine de, doğru bir özel robot oluşturmak için zaman ve çaba harcamak daha iyidir. Bu şekilde, sitenize uygun, sağlam temelli bir yasaklar ve izinler yapısı oluşturabilirsiniz.

Robots.txt Dosyasının Sözdizimini Düzenleme ve Düzeltme

Robots.txt dosyasını başarıyla oluşturduktan sonra, onu istediğiniz gibi kolayca düzenleyebilir ve değiştirebilirsiniz. Bu durumda, bazı kurallar ve yetkin söz dizimi dikkate alınmalıdır. Zamanla, bu dosyayı tekrar tekrar değiştireceksiniz. Ancak unutmayın, düzenledikten sonra bu dosyayı siteye yüklemeniz gerekecek. Böylece arama robotları için içeriğini güncelliyor.

Robots.txt yazmak çok basittir, bunun nedeni bu dosyanın tasarımının oldukça basit yapısıdır. Kural yazarken ana şey, kesin olarak tanımlanmış bir sözdizimi kullanmaktır. Bu kurallara gönüllü olarak neredeyse tüm büyük PS'ler tarafından uyulur. Robots.txt dosyasındaki çoğu hatayı önlemek için bazı kuralların bir listesi:

1. Bir satırda birden fazla belirtilen yönerge olmamalıdır;
2. Her kural yeni bir satırda başlar;
3. Satır başındaki boşluk kaldırıldı;
4. # karakterinden sonra yorumlara izin verilir;
5. Boş Robotlar, tam indeksleme izni olarak sayılacaktır;
6. Bu dosyanın adı yalnızca geçerli biçimde "robotlar" olarak mümkündür;
7. Dosya boyutu 32 kb'yi geçmemelidir;
8. Allow ve Disallow yönergelerinde yalnızca bir kurala izin verilir. Allow: veya Disallow: öğesinden sonra boş bir değer, tam izne eşdeğerdir;
9. Tüm kurallar küçük harfle yazılmalıdır;
10. Dosya her zaman kullanılabilir olmalıdır;
11. Belirtilen kurallardan sonraki boş bir satır, User-agent yönergesinin kurallarının tamamen sona erdiğini gösterir;
12. Kuralların her PS için ayrı ayrı belirtilmesi arzu edilir;
13. Kural bir site diziniyse, başlangıcından önce eğik çizgi (/) koyduğunuzdan emin olun;
14. Bir dizede veya kuralda tırnak olmamalıdır;
15. Artık sitenizle eşleşen katı bir kurallar yapısı düşünmek gerekir;
16. Robots.txt minimalist olmalı ve amaçlanan anlamı açıkça ifade etmelidir;

Robots.txt dosyasının doğru şekilde yapılandırılması - komutların doğru yazılması

Robotları kullanırken olumlu bir sonuç almak için onu doğru şekilde yapılandırmanız gerekir. Bu dosyanın tüm ana komutlarını talimatlarla birlikte en büyük arama motorları Google ve Yandex takip eder. Diğer PS'ler bazı talimatları görmezden gelebilir. Robots.txt dosyasını çoğu arama motoru için nasıl daha duyarlı hale getirebilirim? Burada, yukarıda tartışılan bu dosyayla çalışmak için temel kuralları anlamanız gerekir.
Temel komutları göz önünde bulundurun:

• Kullanıcı Aracısı: * — talimatlar kesinlikle tüm ps botları için geçerli olacaktır. Belirli arama motorlarını ayrı ayrı belirtmek de mümkündür, örneğin: User-Agent: GoogleBot ve User-Agent: YandexBot. Böylece, önemli PS'ler için kurallar doğru bir şekilde belirlenir.
• İzin verme: - (bir sayfanın, dizinin veya dosyaların) taranmasını ve indekslenmesini tamamen yasaklar.
• izin vermek: - (bir sayfanın, dizinin veya dosyaların) taranmasına ve indekslenmesine tamamen izin verir.
• Temiz Param: - dinamik içeriğe sahip site sayfalarını hariç tutmak için gerekli. Bu kural sayesinde sitedeki yinelenen içerikten kurtulabilirsiniz.
• Tarama gecikmesi: - kural, p-bot'ların siteden belge indirmesi için zaman aralığını belirtir. Sunucu üzerindeki yükü önemli ölçüde azaltmanıza olanak tanır. Örneğin: "Tarama gecikmesi: 5", n-robot'a siteden belge indirmenin her 5 saniyede bir defadan fazla mümkün olmadığını söyleyecektir.
• Barındırıcı: siteniz.ru - Ana site aynasından sorumludur. Bu yönergede, sitenin öncelikli sürümünü belirtmelisiniz.
• Site haritası: http://your_site.ru/sitemap.xml - tahmin edebileceğiniz gibi, bu yönerge p-bot'a sitede bir Site Haritasının varlığını bildirir.
• # - yorum bırakmanıza izin verir. Sadece diyez işaretinden sonra yorum yapabilirsiniz. Hem yeni bir satıra konulabilir hem de direktifin devamı olarak konulabilir. Talimatları iletirken bu seçeneklerin tümü botlar tarafından göz ardı edilecektir.

Google veya Yandex kullanarak Robots.txt nasıl kontrol edilir

Garip bir şekilde, bu dosyayı kontrol etmek için yalnızca Google veya Yandex web yöneticisi panellerine ihtiyaç vardır. Bu da hataları bulmayı çok daha kolaylaştırır.

• Google Web Yöneticisi - soldaki menüden "Tarama"yı ve ardından "Robots.txt Dosya Kontrol Aracı" sekmesini seçin. Ardından açılan pencerenin alt satırına dosyanın adını ekleyin. Ardından "Kontrol Et"i tıklayın ve Google botunun robotlarınızı nasıl gördüğünü görün.
• Yandex Webmaster - soldaki menüden "Araçlar" ve "Robots.txt Analizi"ni seçin. Bundan sonra, beliren pencerede, sadece "Kontrol Et" düğmesine tıklayın.

Bu dosyayı kontrol etmek için birçok çevrimiçi doğrulayıcı olduğunu belirtmekte fayda var. Her zaman elinizin altında olan en uygun fiyatlı olanlardan bahsettim.

Çözüm

Tüm siteler için mükemmel bir robot yazmak imkansızdır. Bunun sebebi ise sitelerin bir kısmı elle yapılmış bir kısmı ise farklı CMS'lerde yer almasıdır. Kesinlikle tüm sitelerin farklı bir dizin yapısı ve diğer şeyleri vardır.

Bu nedenle, her Web Yöneticisi, p-bot'lar için kendi benzersiz kural setini oluşturmakla yükümlüdür. Böyle bir dosya önceliklerinizi karşılayacak ve gizli bilgi arayışına girmenize izin vermeyecektir. Bu sayede indeks, gereksiz çöplük içermeyen yüksek kaliteli içerik içerecektir. Sitenizde gerekli yönlendirmeleri de kurmanızı tavsiye ederim. Bu, kopyaları önleyecek, ağırlığı gerekli sayfalara aktaracaktır.

Bu makaleyi okumak:

• Google'da Teknik SEO nedir? En İyi Uygulama Kılavuzu
• .htaccess kullanarak site sayfalarını önbelleğe alma - Önbellek

Okuduğunuz için teşekkürler: SEO YARDIMI | NICOLA.ÜST