Cómo hacer robots.txt para wordpress
· Время на чтение: 6мин · por
·
Publicada
· Actualizado
Escucha este artículo
hola a todos hoy les cuento como hacer robots.txt para wordpress. Creación de un archivo robots.txt en primer lugar, es necesario indicar a los robots de los motores de búsqueda qué secciones de su sitio el robot puede eludir e indexar y cuáles no.
De hecho, este archivo de servicio es necesario para indicarle al robot de búsqueda qué secciones del sitio se indexarán en los motores de búsqueda y qué robot de búsqueda debe omitir. Pero debe comprender que los robots de los motores de búsqueda pueden ignorar la directiva de prohibición e indexar la sección. Sin embargo, tales casos son bastante raros.
El contenido del artículo:
- Creación de un archivo robots.txt
- Descifrando el archivo robots.txt (directivas)
- Un ejemplo de un archivo Robots.txt extendido para mi sitio web
Robots.txt para WordPress: ¿cómo hacerlo?
1. Cree un archivo de texto llamado robots en formato .txt. Creado con un editor de texto regular.
2. A continuación, ingrese la siguiente información en este archivo:
Agente de usuario: Yandex No permitir: /wp-admin No permitir: /wp-includes No permitir: /wp-comments No permitir: /wp-content/plugins No permitir: /wp-content/themes No permitir: /wp-content/cache No permitir: / wp-login.php No permitir: /wp-register.php No permitir: */trackback No permitir: */feed No permitir: /cgi-bin No permitir: /tmp/ No permitir: *?s= Agente de usuario: * No permitir: /wp- administrador No permitir: /wp-includes No permitir: /wp-comments No permitir: /wp-content/plugins No permitir: /wp-content/themes No permitir: /wp-content/cache No permitir: /wp-login.php No permitir: /wp- register.php No permitir: */trackback No permitir: */feed No permitir: /cgi-bin No permitir: /tmp/ No permitir: *?s= Host: site.com Sitemap: http://site.com/sitemap.xml
3. Reemplace la directiva Host: site.com (sitio.com) con el nombre de su sitio.
4. En la directiva Mapa del sitio, especifique: la ruta completa a su mapa del sitio. La URL puede diferir según el complemento que genera el mapa en su sitio.
5. Guarde y cargue el archivo robots.txt en la carpeta raíz de su sitio. Puede hacer esto con cualquier cliente FTP.
6. Genial, su archivo está listo y funcionando. Ahora, antes de rastrear el sitio, los robots de los motores de búsqueda accederán primero a este archivo de servicio.
Descifrando el archivo robots.txt (directivas)
Ahora, veamos el archivo Robots.txt con más detalle. Qué y por qué agregamos al archivo robots.txt.
agente de usuario - directiva, necesaria para especificar el nombre del robot de búsqueda. Con él, puede prohibir o permitir que los robots de búsqueda visiten su sitio. Por ejemplo:
Prohibimos que el robot Yandex vea la carpeta de caché:
Agente de usuario: Yandex
No permitir: /wp-content/cache
Permitimos que el robot de Bing explore la carpeta de temas (con temas del sitio):
Agente de usuario: bingbot
Permitir: /wp-content/themes
Para que nuestras reglas actúen de manera uniforme para todos los motores de búsqueda. Usa la directiva: Agente de usuario: *
Permitir y no permitir: directiva de permiso y prohibición. Ejemplos:
Permita que el bot de Yandex vea la carpeta wp-admin:
Agente de usuario: Yandex
Permitir: /wp-admin
Evite que todos los bots vean la carpeta wp-content:
Agente de usuario: *
No permitir: /wp-content
Este robots.txt no utiliza la directiva Permitir, lo que no prohibimos con la directiva Disallow estará permitido por defecto.
- Anfitrión - directiva, necesaria para especificar el espejo principal del sitio, será indexado por el robot. No se prescindirá de todo lo que sea de terceros.
- mapa del sitio - aquí, indicamos la ruta al mapa del sitio. ¡Tenga en cuenta que Sitemap es una herramienta muy importante para la promoción de sitios web! Su presencia es imprescindible, no te olvides de ella.
Un ejemplo de un archivo Robots.txt extendido para mi sitio web
Ahora echemos un vistazo al archivo de robots de mi sitio. Tenga en cuenta que edito las directivas que prohíben o permiten según mis necesidades. Si decide usar mi ejemplo, asegúrese de revisar el archivo y eliminar las directivas que no necesita.
Tomemos el archivo robots.txt de este sitio:
# robots.txt User-Agent: * No permitir: /wp-json/ # información técnica No permitir: /wp-login.php # seguridad No permitir: /wp-register.php # seguridad No permitir: /xmlrpc.php # seguridad, API de WordPress archivo No permitir: / template.html #información técnica No permitir: /wp-admin #seguridad No permitir: */trackback #duplicados, comentarios No permitir: */comentarios* #duplicados, comentarios No permitir: *comentarios_* #duplicados, comentarios No permitir: /search #páginas de resultados de búsqueda en sitios web No permitir : /author /* # autor y páginas de usuario Disallow: /usuarios/ Disallow: //?replytocom # índice mocoso Disallow: /*?replytocom* Disallow: /comment-page* # páginas de comentarios Disallow: /wp-content/cache #cache carpeta No permitir: */tag /* #tags - si corresponde No permitir: /tag/* No permitir: */embed$ #all incrustaciones No permitir: */?s=* #search No permitir: */?p=* #search No permitir: */?x= * #search No permitir: */ ?xs_review=* #pages editor de publicaciones, vista previa visual No permitir: /?page_id=* #pages editor de páginas, vista previa visual No permitir: */feed #all feeds y rss feeds No permitir: */?feed No permitir: */rss No permitir: *.php # archivos técnicos No permitir: /ads.txt # páginas de anuncios técnicos, si corresponde No permitir: */amp # todas las páginas de amp - si usa tecnología, no deshabilite. No permitir: */amp? No permitir: */amp/ No permitir: */?amp* No permitir: */stylesheet #algunas hojas de estilo que aparecieron No permitir: */stylesheet* No permitir: /?customize_changeset_uuid= #duplicados técnicos del complemento de almacenamiento en caché y compresión = encendido
# especifica a los bots los archivos que se necesitan para la correcta visualización de las páginas del sitio. Permitir: /wp-content/uploads/ Permitir: /wp-incluye Permitir: /wp-content Permitir: */uploads Permitir: /*/*.js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/admin-ajax.php
1TP31Permiso para que los bots vean carpetas con imágenes Agente de usuario: Googlebot-Image Permitir: /wp-content/uploads/ Agente de usuario: Yandex-Images Permitir: /wp-content/uploads/ Agente de usuario: Mail.Ru-Images Permitir : /wp-content/uploads/ Agente de usuario: ia_archiver-Images Permitir: /wp-content/uploads/ Agente de usuario: Bingbot-Images Permitir: /wp-content/uploads/
1TP31 Especifique el espejo principal y el mapa del sitio Host: https://nicola.top Mapa del sitio: https://nicola.top/sitemap_index.xml
Conclusión
He hablado con suficiente detalle sobre cómo crear robots.txt para WordPress. Tenga en cuenta que todos los cambios realizados en este archivo serán visibles después de un tiempo. Puede ver la descripción general más completa en el artículo sobre cómo crear robots.txt para un sitio en varios CMS.
Edita directivas según tus necesidades. No hay necesidad de ingresar todo sin pensar en este archivo de servicio. Dichos cambios irresponsables pueden conducir a la pérdida y eliminación completa de páginas o secciones importantes del sitio de la búsqueda. Espero que esta guía te sea útil, asegúrate de dejar comentarios con preguntas.
Leyendo este artículo:
Gracias por leer: AYUDANTE DE SEO | NICOLA.TOP
