როგორ შევქმნათ robots.txt ფაილი ვებსაიტისთვის - სწორი რობოტები

ბეჭდვა · დრო на чтение: 11მინ · მიერ · გამოქვეყნდა · განახლებულია

გამრავლებამოუსმინეთ სტატიას

როგორ შევქმნათ robots.txt ფაილი.

დეტალური ინსტრუქციები როგორ შევქმნათ robots.txt ფაილი საიტისთვის. Robots.txt არის საიტის საძიებო სისტემის სრულფასოვანი ოპტიმიზაციის ერთ-ერთი ყველაზე აუცილებელი ასპექტი და თქვენი ვებსაიტის უსაფრთხოება. ამ ფაილის სათანადო გამოყენების პირობების დაცვით, შეგიძლიათ მიაღწიოთ გარკვეულ პოზიტიურ ეფექტს საიტზე.

PS-ების უმეტესობისთვის შესაძლებელია სხვადასხვა ინსტრუქციების მითითება. რომელიც მიუთითებს საძიებო ბოტზე აუცილებელ შეზღუდვებზე ან ნებართვებზე საიტის გვერდების, დირექტორიების ან სექციების სკანირება.

Robots.txt ფაილი - ძირითადი განმარტება

Robots.txt - აქვს გარკვეული გამონაკლისი სტანდარტები საძიებო აგენტებისთვის (ბოტები), რომელიც მიღებულ იქნა 1944 წლის იანვარში. ფაილი არის რაღაც ფაილის მსგავსი .htaccess (წესებსაც ადგენს). ამ ფაილის წესებს ნებაყოფლობით იცავს ყველაზე გავრცელებული PS. ფაილი შეიძლება შედგებოდეს ერთი ან მეტი წესისგან, რომელთაგან თითოეული ბლოკავს ან საშუალებას აძლევს მცოცავს წვდომის გარკვეულ ბილიკებს საიტზე.

ნაგულისხმევად, ეს ფაილი არ არის საიტზე - რაც ყველა PS-ს აძლევს სრულ უფლებას, განათავსონ საიტის მთელი შინაარსი. ასეთმა ნებართვამ შეიძლება გამოიწვიოს საიტის მნიშვნელოვანი ტექნიკური გვერდების ჩართვა საძიებო სისტემის ინდექსში, რომელიც იქ არ უნდა იყოს.

რატომ გვჭირდება Robots.txt საიტზე - მისი გავლენა საძიებო სისტემებში პოპულარიზაციაზე

Robots.txt არის ყველაზე მნიშვნელოვანი ფაქტორი საიტის საძიებო სისტემის ოპტიმიზაციაში. საძიებო ბოტების სწორად დაწერილი წესების წყალობით, თქვენ შეგიძლიათ მიაღწიოთ გარკვეულ ზრდას საძიებო საიტის რეიტინგში. რას იძლევა ეს ინსტრუქციები:

  1. ჩაკეტილია საიტის გარკვეული გვერდების, სექციების, დირექტორიების ინდექსაციისთვის;
  2. გვერდების გამორიცხვა, რომლებიც არ შეიცავს სასარგებლო შინაარსს;
  3. დუბლიკატი გვერდების აღმოფხვრა და სხვა.

საიტების უმეტესობისთვის, ასეთი ინდექსირების შეზღუდვები უბრალოდ აუცილებელია; მცირე სრული გვერდიანი საიტები არჩევითია. თუმცა, თითოეულ საიტზე უნდა დაემატოს გარკვეული დირექტივები. მაგალითად, ინდექსირების აკრძალვა:

  1. რეგისტრაციის გვერდები, ადმინისტრატორის შესვლა, პაროლის აღდგენა;
  2. ტექნიკური კატალოგები;
  3. Rss - საიტის არხები;
  4. Replytocom და სხვა.

როგორ შექმნათ Robors.txt ფაილი საკუთარ თავს და მაგალითები

Robots.txt ფაილის შექმნის სირთულეები არ შეიძლება წარმოიშვას დამწყებთათვისაც კი. საკმარისია დაიცვას მოქმედებების გარკვეული თანმიმდევრობა:

  1. Robots.txt არის ტექსტური დოკუმენტი და შექმნილია ნებისმიერი ხელმისაწვდომი ტექსტური რედაქტორის მიერ;
  2. ფაილის გაფართოება უნდა იყოს .txt;
  3. სახელი სავალდებულოა რობოტები;
  4. თითო საიტზე, მხოლოდ ერთი ასეთი ფაილია დაშვებული;
  5. განთავსებულია მხოლოდ საიტის root დირექტორიაში;

თქვენ უნდა გამოიყენოთ ჩვეულებრივი ტექსტური რედაქტორი (ნოტეპადი, როგორც ალტერნატივა). ჩვენ ვქმნით .txt დოკუმენტს სახელწოდებით robots. შემდეგ ჩვენ ვინახავთ და გადავიტანთ ამ დოკუმენტს FTP კლიენტის გამოყენებით საიტის root დირექტორიაში. ეს არის ძირითადი ნაბიჯები, რომლებიც უნდა დაიცვას.

სტანდარტული Robots.txt-ის მაგალითები პოპულარული CMS-ისთვის

Robots.txt მაგალითი amiro.cms-ისთვის:

robots.txt amiro.cms-ისთვის.

robots.txt-ის მაგალითი bitrix-ისთვის:

robots.txt ბიტრიქსისთვის.

robots.txt bitrix1-ისთვის.

Robots.txt მაგალითი dle-სთვის:

robots.txt dle-სთვის.

Drupal robots.txt მაგალითი:

robots.txt დრუპალისთვის.

robots.txt drupal1-ისთვის.

Robots.txt მაგალითი hostcms-ისთვის:

robots.txt hostcms-ისთვის.

Robots.txt მაგალითი joomla3-ისთვის:

robots.txt joomla3-ისთვის.

მაგალითი robots.txt ჯომლასთვის:

robots.txt ჯომლასთვის.

Robots.txt მაგალითი modx evo-სთვის:

robots.txt modx evo-სთვის.

Robots.txt მაგალითი modx-ისთვის:

robots.txt modx-ისთვის.

Robots.txt მაგალითი netcat-ისთვის:

robots.txt netcat-ისთვის.

Robots.txt მაგალითი opencat-ისთვის:

robots.txt opencat-ისთვის.

Robots.txt მაგალითი typo3-ისთვის:

robots.txt typo3-სთვის.

Robots.txt მაგალითი umi-სთვის:

robots.txt umi-სთვის.

მაგალითი robots.txt wordpress-ისთვის:

robots.txt wordpress-ისთვის.

აქ არის ჩემი WordPress CMS საიტის ფაილის მაგალითი:

# robots.txt
User-Agent: *
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */amp
Disallow: */amp?
Disallow: */amp/
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Mail.Ru
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: ia_archiver
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: SputnikBot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Bingbot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: /ads.txt
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: */trackback
Disallow: */comments*
Disallow: *comments_*
Disallow: /search
Disallow: /author/*
Disallow: /users/ 
Disallow: /*?replytocom
Disallow: /*?replytocom*
Disallow: /comment-page*
Disallow: */tag/*
Disallow: /tag/*
Disallow: /?s=*
Disallow: /?s=
Disallow: */feed
Disallow: */rss 
Disallow: */embed 
Disallow: /?s=
Disallow: /?p=
Disallow: *.php
Disallow: */stylesheet
Disallow: */stylesheet*
Allow: */?amp
Allow: */*/?amp
Allow: */tag/?amp
Allow: */page/?amp
Allow: /wp-content/uploads/
Allow: /wp-includes
Allow: /wp-content
Allow: */uploads
Allow: /*/*.js
Allow: /*/*.css
Allow: /wp-*.png
Allow: /wp-*.jpg
Allow: /wp-*.jpeg
Allow: /wp-*.gif
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: Yandex-Images
Allow: /wp-content/uploads/

User-agent: Mail.Ru-Images
Allow: /wp-content/uploads/

User-agent: ia_archiver-Images
Allow: /wp-content/uploads/

User-agent: Bingbot-Images
Allow: /wp-content/uploads/


Host: https://nicola.top
Sitemap: https://nicola.top/sitemap_index.xml
Sitemap: https://nicola.top/?feed=googleimagesitemap

იმედი მაქვს, რომ ეს თქვენთვის სასარგებლო იქნება. გთხოვთ, გამოიყენოთ წესები თქვენი საიტის გათვალისწინებით. თითოეულ რესურსს უნდა ჰქონდეს საკუთარი მიდგომა.

ამ დროისთვის ჩემი ფაილი შემცირებულია ზოგადზე. მისი გაცნობა შეგიძლიათ nicola.top/robots.txt-ზე გადასვლით

როგორ შევქმნათ Robots.txt ფაილი ონლაინ სერვისების გამოყენებით

ეს მეთოდი ყველაზე მარტივი და სწრაფია, შესაფერისი მათთვის, ვისაც ეშინია Robots.txt შექმნას საკუთარი ხელით ან უბრალოდ ეზარება. არსებობს უამრავი სერვისი, რომელიც გთავაზობთ ამ ფაილის შექმნას. მაგრამ ღირს ამ მეთოდთან დაკავშირებით გარკვეული ნიუანსების გათვალისწინება. Მაგალითად:

  • აუცილებელია წინასწარ გავითვალისწინოთ ის, რისი აკრძალვა ან უფლება გსურთ აგენტს.
  • საიტზე ატვირთვამდე საჭიროა მზა ფაილის სავალდებულო გადამოწმება.
  • იყავით ფრთხილად, რადგან არასწორად შექმნილი Robots.txt ონლაინ ფაილი სავალალო მდგომარეობამდე მიგვიყვანს. ამრიგად, საიტის ტექნიკური და სხვა გვერდები, რომლებიც აპრიორი იქ არ უნდა იყოს, შეიძლება მოხვდნენ ძიებაში.
  • ამავე დროს, უმჯობესია დახარჯოთ დრო და ძალისხმევა სწორი მორგებული რობოტის შესაქმნელად. ამ გზით, თქვენ შეგიძლიათ ხელახლა შექმნათ აკრძალვებისა და ნებართვების კარგად დასაბუთებული სტრუქტურა თქვენი საიტისთვის შესაბამისი.

Robots.txt ფაილის რედაქტირება და სწორი სინტაქსი

Robots.txt წარმატებით შექმნის შემდეგ, შეგიძლიათ მარტივად შეცვალოთ და შეცვალოთ ის, როგორც გსურთ. ამ შემთხვევაში გასათვალისწინებელია გარკვეული წესები და კომპეტენტური სინტაქსი. დროთა განმავლობაში, თქვენ არაერთხელ შეცვლით ამ ფაილს. მაგრამ არ დაგავიწყდეთ, რედაქტირების შემდეგ, თქვენ უნდა ატვირთოთ ეს ფაილი საიტზე. ამრიგად, მისი შინაარსის განახლება საძიებო რობოტებისთვის.

Robots.txt-ის დაწერა ძალიან მარტივია, ამის მიზეზი ამ ფაილის დიზაინის საკმაოდ მარტივი სტრუქტურაა. წესების წერისას მთავარია მკაცრად განსაზღვრული სინტაქსის გამოყენება. ამ წესებს ნებაყოფლობით იცავენ თითქმის ყველა ძირითადი პს. აქ მოცემულია რამდენიმე წესის სია, რომ თავიდან აიცილოთ შეცდომები Robots.txt ფაილში:

  1. ერთ ხაზზე არ უნდა იყოს ერთზე მეტი მითითებული დირექტივა;
  2. ყოველი წესი იწყება ახალი ხაზით;
  3. სტრიქონის დასაწყისში სივრცე ამოღებულია;
  4. კომენტარები ნებადართულია # სიმბოლოს შემდეგ;
  5. ცარიელი რობოტები ჩაითვლება ინდექსირების სრულ ნებართვად;
  6. ამ ფაილის სახელი შესაძლებელია მხოლოდ მოქმედ ფორმატში „რობოტები“;
  7. ფაილის ზომა არ უნდა აღემატებოდეს 32 kb;
  8. მხოლოდ ერთი წესია დაშვებული ნება და აკრძალვის დირექტივებში. ცარიელი მნიშვნელობა Allow: ან Disallow: არის სრული ნებართვის ექვივალენტი;
  9. ყველა წესი უნდა იყოს დაწერილი პატარა ასოებით;
  10. ფაილი ყოველთვის ხელმისაწვდომი უნდა იყოს;
  11. მითითებული წესების შემდეგ ცარიელი ხაზი მიუთითებს მომხმარებლის აგენტის დირექტივის წესების სრულ დასრულებაზე;
  12. სასურველია თითოეული უბნის წესები ცალ-ცალკე დაწესდეს;
  13. თუ წესი არის საიტის დირექტორია, მაშინ დარწმუნდით, რომ მის დაწყებამდე დააყენეთ ხაზი (/);
  14. არ უნდა იყოს ციტატები სტრიქონში ან წესში;
  15. აუცილებელია გაითვალისწინოთ წესების მკაცრი სტრუქტურა, რომელიც აღარ ემთხვევა თქვენს საიტს;
  16. Robots.txt უნდა იყოს მინიმალისტური და ნათლად გადმოსცეს დანიშნულ მნიშვნელობას;

Robots.txt ფაილის სწორი კონფიგურაცია - ბრძანებების სწორი მართლწერა

რობოტების გამოყენებისას დადებითი შედეგის მისაღებად, საჭიროა მისი სწორად კონფიგურაცია. ამ ფაილის ყველა ძირითად ბრძანებას ინსტრუქციებით მოჰყვება უმსხვილესი საძიებო სისტემები Google და Yandex. სხვა PS-ებმა შეიძლება იგნორირება გაუკეთონ ზოგიერთ ინსტრუქციას. როგორ გავხადოთ robots.txt უფრო პასუხისმგებელი საძიებო სისტემების უმეტესობისთვის? აქ თქვენ უნდა გესმოდეთ ამ ფაილთან მუშაობის ძირითადი წესები, რომლებიც ზემოთ იყო განხილული.
განვიხილოთ ძირითადი ბრძანებები:

  • მომხმარებლის აგენტი: * — ინსტრუქციები ვრცელდება აბსოლუტურად ყველა ps ბოტზე. ასევე შესაძლებელია ცალკეული საძიებო სისტემების დაზუსტება, მაგალითად: User-Agent: GoogleBot და User-Agent: YandexBot. ამრიგად, მნიშვნელოვანი PS-ების წესები სწორად არის განსაზღვრული.
  • აკრძალვა: - მთლიანად კრძალავს სეირნობას და ინდექსირებას (გვერდის, დირექტორიას ან ფაილებს).
  • დაუშვას: - სრულად იძლევა ცოცხალს და ინდექსირებას (გვერდის, დირექტორიას ან ფაილებს).
  • პარამეტრის გასუფთავება: - საჭიროა დინამიური შინაარსის მქონე საიტის გვერდების გამოსარიცხად. ამ წესის წყალობით, თქვენ შეგიძლიათ მოიცილოთ დუბლიკატი შინაარსი საიტზე.
  • სეირნობის შეფერხება: - წესი განსაზღვრავს დროის ინტერვალს, რომ p-bots ჩამოტვირთონ დოკუმენტები საიტიდან. საშუალებას გაძლევთ მნიშვნელოვნად შეამციროთ დატვირთვა სერვერზე. მაგალითად: „Crawl-delay: 5“ აცნობებს n-რობოტს, რომ საიტიდან დოკუმენტების ჩამოტვირთვა შესაძლებელია არა უმეტეს 5 წამში ერთხელ.
  • მასპინძელი: your_site.ru - პასუხისმგებელია მთავარი საიტის სარკეზე. ამ დირექტივაში თქვენ უნდა მიუთითოთ საიტის პრიორიტეტული ვერსია.
  • საიტის რუკა: http://your_site.ru/sitemap.xml - როგორც თქვენ ალბათ მიხვდებით, ეს დირექტივა ეუბნება p-bot-ს საიტის რუქის ხელმისაწვდომობის შესახებ ონლაინ.
  • # - საშუალებას გაძლევთ დატოვოთ კომენტარები. კომენტარის გაკეთება შეგიძლიათ მხოლოდ ფუნტის ნიშნის შემდეგ. ის შეიძლება განთავსდეს როგორც ახალ ხაზზე, ასევე დირექტივის გაგრძელებად. ყველა ეს ვარიანტი იგნორირებული იქნება ბოტების მიერ ინსტრუქციების გაცემისას.

როგორ შეამოწმოთ Robots.txt Google-ის ან Yandex-ის გამოყენებით

უცნაურია, მაგრამ მხოლოდ Google-ის ან Yandex-ის ვებმასტერების პანელებია საჭირო ამ ფაილის შესამოწმებლად. რაც თავის მხრივ ბევრად აადვილებს შეცდომების პოვნას.

  • Google Webmaster - აირჩიეთ "სკანირება" მარცხენა მენიუში და შემდეგ "Robots.txt ფაილების შემოწმების ხელსაწყო" ჩანართი. შემდეგ, ფანჯრის ქვედა სტრიქონში, რომელიც გამოჩნდება, დაამატეთ ფაილის სახელი. შემდეგ დააჭირეთ "შემოწმებას" და ნახეთ, როგორ ხედავს Google ბოტი თქვენს რობოტებს.
  • Yandex Webmaster - მარცხენა მენიუში აირჩიეთ "Tools" და "Analysis of Robots.txt". ამის შემდეგ, ფანჯარაში, რომელიც გამოჩნდება, უბრალოდ დააჭირეთ ღილაკს "შემოწმება".

აღსანიშნავია, რომ ამ ფაილის შესამოწმებლად უამრავი ონლაინ ვალიდატორია. მე ვისაუბრე ყველაზე ხელმისაწვდომებზე, რომლებიც ყოველთვის ხელთ არის.

დასკვნა

შეუძლებელია დაწერო ერთი სრულყოფილი რობოტი ყველა საიტისთვის. ამის მიზეზი თავად საიტებია, რომელთაგან ზოგიერთი დამზადებულია ხელით, ზოგი კი განლაგებულია სხვადასხვა CMS-ზე. აბსოლუტურად ყველა საიტს აქვს განსხვავებული დირექტორია სტრუქტურა და სხვა რამ.

ამიტომ, თითოეული ვებმასტერი უბრალოდ ვალდებულია შექმნას საკუთარი უნიკალური წესები p-bots-ისთვის. ასეთი ფაილი დააკმაყოფილებს თქვენს პრიორიტეტებს და არ მოგცემთ საშუალებას შეხვიდეთ კონფიდენციალური ინფორმაციის ძიებაში. ამის წყალობით, ინდექსი შეიცავს მაღალი ხარისხის შინაარსს ზედმეტი ნაგვის გარეშე. გირჩევთ ასევე დააყენოთ საჭირო გადამისამართებები თქვენს საიტზე. ამით თავიდან აიცილებთ დუბლიკატებს, გადაიტანეთ წონა საჭირო გვერდებზე.

გმადლობთ, რომ კითხულობთ ნიკოლა ტოპს

რამდენად სასარგებლოა პოსტი?

დააწკაპუნეთ სმაილზე შეფასებისთვის!

საშუალო რეიტინგი 5 / 5. შეფასებების რაოდენობა: 81

ჯერ არ არის რეიტინგები. ჯერ შეაფასეთ.

ასევე შეიძლება მოგეწონოთ...

1 პასუხი

  1. Alycia ამბობს:

    მე მსიამოვნებს, რადგან ვიპოვე ზუსტად ის, რასაც ადრე ვეძებდი.
    თქვენ დაასრულეთ ჩემი ოთხდღიანი ნადირობა! ღმერთმა დაგლოცოთ კაცო. Კარგ დღეს გისურვებ.
    Ნახვამდის

კომენტარის დატოვება

თქვენი ელფოსტის მისამართი გამოქვეყნებული არ იყო. აუცილებელი ველები მონიშნულია *

სამი × ოთხი =