Como fazer robots.txt para wordpress
· Время на чтение: 6mínimo · por
·
Publicados
· Atualizada
Ouça este artigo
Olá a todos, hoje vou contar como fazer robots.txt para wordpress. Criando um arquivo robots.txt é necessário, antes de tudo, indicar aos robôs do mecanismo de pesquisa quais seções do seu site o robô pode ignorar e indexar e quais não.
Na verdade, esse arquivo de serviço é necessário para indicar ao bot de pesquisa quais seções do site serão indexadas nos mecanismos de pesquisa e qual robô de pesquisa deve pular. Mas você precisa entender que os robôs do mecanismo de pesquisa podem ignorar a diretiva de proibição e indexar a seção. No entanto, esses casos são bastante raros.
O conteúdo do artigo:
- Criando um arquivo robots.txt
- Decodificando o arquivo robots.txt (diretivas)
- Um exemplo de um arquivo Robots.txt estendido para meu site
Robots.txt para WordPress - como fazer?
1. Crie um arquivo de texto chamado robots no formato .txt. Criado com um editor de texto regular.
2. Em seguida, insira as seguintes informações neste arquivo:
User-agent: Yandex Proibir: /wp-admin Proibir: /wp-includes Proibir: /wp-comments Proibir: /wp-content/plugins Proibir: /wp-content/themes Proibir: /wp-content/cache Proibir: / wp-login.php Não permitir: /wp-register.php Não permitir: */trackback Não permitir: */feed Não permitir: /cgi-bin Não permitir: /tmp/ Não permitir: *?s= User-agent: * Não permitir: /wp- administrador Proibir: /wp-includes Proibir: /wp-comments Proibir: /wp-content/plugins Proibir: /wp-content/themes Proibir: /wp-content/cache Proibir: /wp-login.php Proibir: /wp- register.php Não permitir: */trackback Não permitir: */feed Não permitir: /cgi-bin Não permitir: /tmp/ Não permitir: *?s= Host: site.com Mapa do site: http://site.com/sitemap.xml
3. Substitua a diretiva Host: site.com (site.com) pelo nome do seu site.
4. Na diretiva Sitemap, especifique: o caminho completo para seu sitemap. A URL pode diferir dependendo do plug-in que gera o mapa em seu site.
5. Salve e carregue o arquivo robots.txt na pasta raiz do seu site. Você pode fazer isso com qualquer cliente FTP.
6. Ótimo, seu arquivo está pronto e funcionando. Agora, antes de rastrear o site, os robôs do mecanismo de pesquisa acessarão primeiro esse arquivo de serviço.
Decodificando o arquivo robots.txt (diretivas)
Agora, vamos examinar o arquivo Robots.txt com mais detalhes. O que e por que adicionamos ao arquivo robots.txt.
agente de usuário - diretiva, necessária para especificar o nome do robô de busca. Com ele, você pode proibir ou permitir que robôs de busca visitem seu site. Por exemplo:
Proibimos o robô Yandex de visualizar a pasta de cache:
Agente do usuário: Yandex
Não permitir: /wp-content/cache
Permitimos que o robô Bing navegue na pasta de temas (com os temas do site):
Agente do usuário: bingbot
Permitir: /wp-content/themes
Para que nossas regras funcionem de maneira uniforme para todos os mecanismos de pesquisa. Use a diretiva: Agente de usuário: *
Permitir e proibir - diretiva de permissão e proibição. Exemplos:
Permita que o bot Yandex visualize a pasta wp-admin:
Agente do usuário: Yandex
Permitir: /wp-admin
Evite que todos os bots visualizem a pasta wp-content:
Agente de usuário: *
Não permitir: /wp-content
Este robots.txt não usa a diretiva Allow, o que não proibimos com a diretiva Disallow será permitido por padrão.
- Hospedar - diretiva, necessária para especificar o espelho principal do site, será indexado pelo robô. Tudo o que é de terceiros não será dispensado.
- Mapa do site - aqui, indicamos o caminho para o mapa do site. Observe que o Sitemap é uma ferramenta muito importante para a promoção do site! A sua presença é essencial, não se esqueça dela.
Um exemplo de um arquivo Robots.txt estendido para meu site
Agora vamos dar uma olhada no arquivo robots do meu site. Observe que eu edito as diretivas de proibição ou permissão de acordo com minhas necessidades. Se você decidir usar meu exemplo, certifique-se de revisar o arquivo e remover as diretivas desnecessárias.
Vamos pegar o arquivo robots.txt deste site:
# robots.txt User-Agent: * Não permitir: /wp-json/ # informações técnicas Não permitir: /wp-login.php Segurança # Não permitir: /wp-register.php Segurança # Não permitir: /xmlrpc.php Segurança #, WordPress API arquivo Proibir: / template.html #informações técnicas Proibir: /wp-admin #security Proibir: */trackback #duplicates, comentários Proibir: */comments* #duplicates, comentários Proibir: *comments_* #duplicates, comentários Proibir: /search #website search results pages Disallow : /autor /* páginas de autor e usuário # Proibir: /users/ Proibir: /*?replytocom # snotty index Proibir: /*?replytocom* Proibir: /comment-page* páginas de comentários # Proibir: /wp-content/cache #cache pasta Proibir: */tag /* #tags - se apropriado Proibir: /tag/* Proibir: */embed$ #all incorpora: */?s=* #search Não permitir: */?p=* #search Não permitir: */?x= * #search Proibir: */ ?xs_review=* #pages post editor, visual preview Proibir: /?page_id=* #pages editor de página, visualização visual Proibir: */feed #all feeds e feeds rss Proibir: */?feed Proibir: */rss Proibir: *.php #arquivos técnicos Proibir: páginas de anúncios técnicos /ads.txt #, se apropriado Proibir: */amp # todas as páginas de amp - se estiver usando tecnologia, não desative. Não permitir: */amp? Proibir: */amp/ Proibir: */?amp* Proibir: */stylesheet #algumas folhas de estilo que apareceram Proibir: */stylesheet* Proibir: /?customize_changeset_uuid= #duplicatas técnicas de cache e plug-in de compactação Proibir: */?customize_changeset_uuid*customize_autosaved = ligado
# especifica aos bots os arquivos necessários para a exibição correta das páginas do site. Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/*.js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/admin-ajax.php
1TP31Permissão para bots visualizarem pastas com imagens User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: Yandex-Images Allow: /wp-content/uploads/ User-agent: Mail.Ru-Images Permitir : /wp-content/uploads/ Agente do usuário: ia_archiver-Images Permitir: /wp-content/uploads/ Agente do usuário: Bingbot-Images Permitir: /wp-content/uploads/
1TP31 Especifique o espelho principal e o host do mapa do site: https://nicola.top Mapa do site: https://nicola.top/sitemap_index.xml
Conclusão
Falei com detalhes suficientes sobre como criar robots.txt para WordPress. Observe que todas as alterações feitas neste arquivo ficarão visíveis depois de um tempo. Você pode ver a visão geral mais completa no artigo sobre como criar robots.txt para um site em vários CMS.
Edite as diretivas dependendo de suas necessidades. Não há necessidade de inserir tudo sem pensar neste arquivo de serviço. Tais mudanças irresponsáveis podem levar à perda e remoção completa de páginas ou seções importantes do site da pesquisa. Espero que este guia seja útil para você, não deixe de deixar comentários com perguntas.
Lendo este artigo:
Obrigado por ler: AJUDANTE DE SEO | NICOLA.TOP
