Cómo crear un archivo robots.txt para un sitio web - robots correctos

Escucha este artículo

Instrucciones detalladas sobre cómo crear un archivo robots.txt para el sitio Robots.txt es uno de los aspectos más esenciales de una optimización completa del motor de búsqueda del sitio y la seguridad de su sitio. Al observar las condiciones para el uso adecuado de este archivo, puede lograr un cierto efecto positivo en el sitio.

Es posible especificar una variedad de instrucciones para la mayoría de los PS. Las cuales indican al bot de búsqueda las restricciones o permisos necesarios para escanear páginas, directorios o secciones del sitio.

El contenido del artículo:

• Definición principal del archivo Robots.txt
• Por qué se necesita Robots.txt en el sitio: su impacto en la promoción del motor de búsqueda
• Cómo crear un archivo Robors.txt usted mismo más ejemplos
• Cómo crear un archivo Robots.txt usando servicios en línea
• Edición y Sintaxis Correcta del Archivo Robots.txt
• Configuración adecuada del archivo Robots.txt - ortografía correcta de los comandos
• Conclusión

Archivo Robots.txt - Definición básica

Robots.txt - tiene ciertos estándares de excepción para agentes de búsqueda (bots), que se adoptó en enero de 1944. El archivo recuerda un poco al archivo .htaccess (las reglas también están escritas en él). Las reglas de este archivo son seguidas voluntariamente por las PS más comunes. El archivo puede constar de una o más reglas, cada una de las cuales bloquea o permite que el rastreador acceda a determinadas rutas del sitio.

De forma predeterminada, este archivo no está en el sitio, lo que otorga a todos los PS permiso completo para indexar todo el contenido del sitio. Dicho permiso puede dar lugar a la inclusión de importantes páginas técnicas del sitio en el índice del motor de búsqueda, que no deberían estar allí.

¿Por qué necesitamos Robots.txt en el sitio? Su impacto en la promoción en los motores de búsqueda

Robots.txt es el factor más importante en la optimización de motores de búsqueda de un sitio. Gracias a un conjunto de reglas escritas correctamente para los robots de búsqueda, puede lograr un cierto aumento en la clasificación de un sitio en la búsqueda. ¿Qué dan estas instrucciones?

1. Bloqueado para indexar ciertas páginas, secciones, directorios del sitio;
2. Exclusión de páginas que no contienen contenido útil;
3. Eliminación de páginas duplicadas y más.

Para la mayoría de los sitios, tales restricciones de indexación son simplemente necesarias; los sitios pequeños de página completa son opcionales. Sin embargo, se deben agregar ciertas directivas a cada sitio. Por ejemplo, prohibiciones de indexación:

1. Páginas de registro, inicio de sesión de administrador, recuperación de contraseña;
2. catálogos técnicos;
3. Rss: fuentes del sitio;
4. Replytocom y más.

Cómo crear un archivo Robors.txt usted mismo más ejemplos

Las dificultades para crear un archivo Robots.txt no pueden surgir ni siquiera para los principiantes. Es suficiente seguir una cierta secuencia de acciones:

1. Robots.txt es un documento de texto y lo crea cualquier editor de texto disponible;
2. La extensión del archivo debe ser .txt;
3. El nombre es robots obligatorios;
4. Por sitio, solo se permite un archivo de este tipo;
5. Colocado solo en el directorio raíz del sitio;

Debe usar un editor de texto ordinario (el bloc de notas como alternativa). Creamos un documento .txt con el nombre robots. Luego guardamos y transferimos este documento usando un cliente FTP al directorio raíz del sitio. Estos son los principales pasos a seguir.

Ejemplos de Robots.txt estándar para CMS populares

Ejemplo de robots.txt para amiro.cms:

Un ejemplo de robots.txt para bitrix:

Ejemplo de robots.txt para dle:

Drupal robots.txt ejemplo:

Ejemplo de robots.txt para hostcms:

Ejemplo de robots.txt para joomla3:

Ejemplo robots.txt para joomla:

Ejemplo de Robots.txt para modx evo:

Ejemplo de Robots.txt para modx:

Ejemplo de robots.txt para netcat:

Ejemplo de robots.txt para opencat:

Ejemplo de Robots.txt para typo3:

Ejemplo de Robots.txt para umi:

Ejemplo robots.txt para wordpress:

Aquí hay un ejemplo de mi archivo de sitio CMS de WordPress:

# robots.txt User-Agent: * No permitir: /wp-json/ No permitir: /wp-login.php No permitir: /wp-register.php No permitir: /xmlrpc.php No permitir: /template.html No permitir: /wp-admin No permitir: */trackback No permitir: */comentarios* No permitir: *comentarios_* No permitir: /buscar No permitir: /autor/* No permitir: /usuarios/ No permitir: //?replytocom No permitir: //?replytocom* No permitir: /página de comentarios * No permitir: */tag/* No permitir: /tag/* No permitir: /?s=* No permitir: /?s= No permitir: */feed No permitir: */rss No permitir: */embed No permitir: /?p= No permitir: *.php No permitir: /ads.txt No permitir: */hoja de estilo No permitir: */hoja de estilo* Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /* /*.js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin /admin-ajax.php Agente de usuario: Yandex No permitir: /wp-json/ No permitir: /wp-login.php No permitir: /wp-register.php No permitir: /xmlrpc.php No permitir: /template.html No permitir: /wp -admin No permitir: */trackback No permitir: */comentarios* No permitir: *comentarios_* No permitir: /buscar No permitir: /autor/* No permitir: /usuarios/ No permitir: //?replytocom No permitir: //?replytocom* No permitir: /comentario -page* No permitir: */tag/* No permitir: /tag/* No permitir: /?s=* No permitir: /?s= No permitir: */feed No permitir: */rss No permitir: */embed No permitir: /?s= No permitir: /?p= No permitir: *.php No permitir: /ads.txt No permitir: */amp No permitir: */amp? No permitir: */amp/ No permitir: */hoja de estilo No permitir: */hoja de estilo* Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/*. js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/admin- ajax.php Agente de usuario: Mail.Ru No permitir: /wp-json/ No permitir: /wp-login.php No permitir: /wp-register.php No permitir: /xmlrpc.php No permitir: /template.html No permitir: /wp- admin Disallow: */trackback Disallow: */comments* Disallow: *comments_* Disallow: /search Disallow: /author/* Disallow: /users/ Disallow: //?replytocom Disallow: //?replytocom* Disallow: /comment- página* No permitir: */tag/* No permitir: /tag/* No permitir: /?s=* No permitir: /?s= No permitir: */feed No permitir: */rss No permitir: */embed No permitir: /?s= No permitir : /?p= No permitir: *.php No permitir: /ads.txt No permitir: */hoja de estilo No permitir: */hoja de estilo* Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/*.js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*. gif Permitir: /wp-admin/admin-ajax.php Agente de usuario: ia_archiver No permitir: /wp-json/ No permitir: /wp-login.php No permitir: /wp-register.php No permitir: /xmlrpc.php No permitir: / template.html No permitir: /wp-admin No permitir: */trackback No permitir: */comentarios* No permitir: *comentarios_* No permitir: /buscar No permitir: /autor/* No permitir: /usuarios/ No permitir: //?replytocom No permitir: /* ?replytocom* No permitir: /página-comentario* No permitir: */etiqueta/* No permitir: /etiqueta/* No permitir: /?s=* No permitir: /?s= No permitir: */feed No permitir: */rss No permitir: */ incrustar No permitir: /?s= No permitir: /?p= No permitir: *.php No permitir: /ads.txt No permitir: */hoja de estilo No permitir: */hoja de estilo* Permitir: */?amp Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/*.js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir : /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/admin-ajax.php Agente de usuario: SputnikBot No permitir: /wp-json/ No permitir: /wp-login.php No permitir: / wp-register.php No permitir: /xmlrpc.php No permitir: /template.html No permitir: /wp-admin No permitir: */trackback No permitir: */comments* No permitir: *comments_* No permitir: /search No permitir: /author/* No permitir : /users/ Disallow: /*?replytocom Disallow: //?replytocom* Disallow: /comment-page* Disallow: */tag/* Disallow: /tag/* Disallow: /?s=* Disallow: /?s= No permitir: */feed No permitir: */rss No permitir: */embed No permitir: /?s= No permitir: /?p= No permitir: *.php No permitir: /ads.txt No permitir: */stylesheet No permitir: */stylesheet* Permitir : */?amp Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/*.js Permitir: /*/*.css Permitir: / wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/admin-ajax.php Usuario-agente: Bingbot No permitir: /wp -json/ No permitir: /wp-login.php No permitir: /wp-register.php No permitir: /xmlrpc.php No permitir: /template.html No permitir: /wp-admin No permitir: */trackback No permitir: */comentarios* No permitir: *comentarios_* No permitir: /buscar No permitir: /autor/* No permitir: /usuarios/ No permitir: /*?replytocom No permitir: /*?replytocom* No permitir: /página-comentario* No permitir: */etiqueta/* No permitir: /etiqueta/ * No permitir: /?s=* No permitir: /?s= No permitir: */feed No permitir: */rss No permitir: */embed No permitir: /?s= No permitir: /?p= No permitir: *.php No permitir: /ads .txt No permitir: */hoja de estilo No permitir: */hoja de estilo* Permitir: */?amp Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/ *.js Permitir: /*/*.css Permitir: /wp-*.png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/ admin-ajax.php Agente de usuario: Googlebot No permitir: /wp-json/ No permitir: /wp-login.php No permitir: /wp-register.php No permitir: /xmlrpc.php No permitir: /template.html No permitir: /wp- admin Disallow: */trackback Disallow: */comments* Disallow: *comments_* Disallow: /search Disallow: /author/* Disallow: /users/ Disallow: //?replytocom Disallow: //?replytocom* Disallow: /comment- página* No permitir: */tag/* No permitir: /tag/* No permitir: /?s=* No permitir: /?s= No permitir: */feed No permitir: */rss No permitir: */embed No permitir: /?s= No permitir : /?p= No permitir: *.php No permitir: */hoja de estilo No permitir: */hoja de estilo* Permitir: */?amp Permitir: */*/?amp Permitir: */tag/?amp Permitir: */page/? amp Permitir: /wp-content/uploads/ Permitir: /wp-includes Permitir: /wp-content Permitir: */uploads Permitir: /*/*.js Permitir: /*/*.css Permitir: /wp-*. png Permitir: /wp-*.jpg Permitir: /wp-*.jpeg Permitir: /wp-*.gif Permitir: /wp-admin/admin-ajax.php Agente de usuario: Googlebot-Image Permitir: /wp-content /cargas/ Agente de usuario: Yandex-Images Permitir: /wp-content/uploads/ Agente de usuario: Mail.Ru-Images Permitir: /wp-content/uploads/ Agente de usuario: ia_archiver-Images Permitir: /wp-content /uploads/ Agente de usuario: Bingbot-Images Permitir: /wp-content/uploads/ Host: https://nicola.top Mapa del sitio: https://nicola.top/sitemap_index.xml Mapa del sitio: https://nicola.top /?feed=googleimagenmapa del sitio

Espero que te sea útil. Aplique las reglas de acuerdo con las consideraciones de su sitio. Cada recurso debe tener su propio enfoque.

Por el momento mi archivo está acortado a genérico. Puede familiarizarse con él yendo a nicola.top/robots.txt

Cómo crear un archivo Robots.txt usando servicios en línea

Este método es el más fácil y rápido, adecuado para aquellos que tienen miedo de crear Robots.txt por su cuenta o simplemente son perezosos. Hay muchos servicios que ofrecen la creación de este archivo. Pero vale la pena considerar algunos matices con respecto a este método. Por ejemplo:

• Es necesario tener en cuenta de antemano qué es exactamente lo que quiere prohibir o permitir al agente.
• Se requiere la verificación obligatoria del archivo terminado antes de cargarlo en el sitio.
• Tenga cuidado, porque un archivo en línea Robots.txt creado incorrectamente conducirá a una situación deplorable. Por lo tanto, las páginas técnicas y otras del sitio, que a priori no deberían estar allí, pueden ingresar a la búsqueda.
• De todos modos, es mejor dedicar tiempo y esfuerzo a crear un robot personalizado correcto. De esta forma, puede recrear una estructura bien fundamentada de prohibiciones y permisos apropiados para su sitio.

Edición y Sintaxis Correcta del Archivo Robots.txt

Después de crear Robots.txt con éxito, puede editarlo y cambiarlo fácilmente como desee. En este caso, se deben tener en cuenta algunas reglas y una sintaxis competente. Con el tiempo, cambiará este archivo repetidamente. Pero no olvide, después de editar, deberá cargar este archivo en el sitio. Así, actualizando su contenido para los robots de búsqueda.

Escribir Robots.txt es muy simple, la razón de esto es la estructura bastante simple del diseño de este archivo. Lo principal al escribir reglas es usar una sintaxis estrictamente definida. Estas reglas son seguidas voluntariamente por casi todos los principales EP. Aquí hay una lista de algunas reglas para evitar la mayoría de los errores en el archivo Robots.txt:

1. No debe haber más de una directiva específica en una línea;
2. Cada regla comienza en una nueva línea;
3. Se ha eliminado un espacio al principio de una línea;
4. Se permiten comentarios después del carácter #;
5. Los robots vacíos contarán como permiso de indexación completo;
6. El nombre de este archivo solo es posible en el formato válido "robots";
7. El tamaño del archivo no debe exceder los 32 kb;
8. Solo se permite una regla en las directivas Allow y Disallow. Un valor vacío después de Permitir: o No permitir: equivale a un permiso total;
9. Todas las reglas deben escribirse en minúsculas;
10. El archivo debe estar siempre disponible;
11. Una línea vacía después de las reglas especificadas indica el final completo de las reglas de la directiva User-agent;
12. Es deseable prescribir las reglas para cada PS por separado;
13. Si la regla es un directorio de sitio, asegúrese de colocar una barra inclinada (/) antes de su comienzo;
14. No debe haber comillas en una cadena o en una regla;
15. Es necesario considerar una estructura estricta de reglas que no coincida más con su sitio;
16. Robots.txt debe ser minimalista y transmitir claramente el significado previsto;

Configuración adecuada del archivo Robots.txt - ortografía correcta de los comandos

Para obtener un resultado positivo al usar robots, debe configurarlo correctamente. Todos los comandos principales de este archivo con instrucciones son seguidos por los motores de búsqueda más grandes, Google y Yandex. Otros EP pueden ignorar algunas instrucciones. ¿Cómo hacer que robots.txt responda mejor a la mayoría de los motores de búsqueda? Aquí debe comprender las reglas básicas para trabajar con este archivo, que se discutieron anteriormente.
Considere los comandos básicos:

• Agente de usuario: * — las instrucciones se aplicarán a absolutamente todos los bots de ps. También es posible especificar ciertos motores de búsqueda por separado, por ejemplo: User-Agent: GoogleBot y User-Agent: YandexBot. Por lo tanto, las reglas para los PS importantes se designan correctamente.
• Rechazar: - prohíbe completamente el rastreo y la indexación (de una página, directorio o archivos).
• permitir: - permite rastrear e indexar completamente (de una página, directorio o archivos).
• Parámetro limpio: - necesario para excluir las páginas del sitio con contenido dinámico. Gracias a esta regla, puedes deshacerte del contenido duplicado en el sitio.
• Retraso de rastreo: - la regla especifica el intervalo de tiempo para que los p-bots descarguen documentos del sitio. Le permite reducir significativamente la carga en el servidor. Por ejemplo: "Crawl-delay: 5" le indicará al n-robot que no es posible descargar documentos del sitio más de una vez cada 5 segundos.
• Anfitrión: your_site.ru - Responsable del espejo principal del sitio. En esta directiva, debe especificar la versión de prioridad del sitio.
• Mapa del sitio: http://your_site.ru/sitemap.xml - como puede suponer, esta directiva le informa al p-bot sobre la presencia de un Sitemap en el sitio.
• # - le permite dejar comentarios. Puede comentar solo después del signo de libra. Se puede colocar tanto en una nueva línea como en una continuación de la directiva. Los bots ignorarán todas estas opciones al pasar instrucciones.

Cómo verificar Robots.txt usando Google o Yandex

Por extraño que parezca, solo se necesitan los paneles de webmaster de Google o Yandex para verificar este archivo. Lo que a su vez hace que sea mucho más fácil encontrar errores.

• Google Webmaster: seleccione "Escaneo" en el menú de la izquierda y luego la pestaña "Herramienta de verificación de archivos Robots.txt". Luego, en la línea inferior de la ventana que aparece, agregue el nombre del archivo. Luego haga clic en "Comprobar" y vea cómo el bot de Google ve sus robots.
• Yandex Webmaster: en el menú de la izquierda, seleccione "Herramientas" y "Análisis de Robots.txt". Después de eso, en la ventana que aparece, simplemente haga clic en el botón "Verificar".

Vale la pena señalar que hay muchos validadores en línea para verificar este archivo. Hablé de los más asequibles que siempre están a mano.

Conclusión

Es imposible escribir un robot perfecto para todos los sitios. La razón de esto son los propios sitios, algunos de los cuales están hechos a mano y otros están ubicados en diferentes CMS. Absolutamente todos los sitios tienen una estructura de directorio diferente y otras cosas.

Por lo tanto, cada Webmaster simplemente está obligado a crear su propio conjunto único de reglas para p-bots. Dicho archivo cumplirá con sus prioridades y no le permitirá ingresar a la búsqueda de información confidencial. Gracias a esto, el índice tendrá contenido de alta calidad sin basura innecesaria. Le recomiendo que también configure los redireccionamientos necesarios en su sitio. Esto evitará duplicados, transferirá peso a las páginas necesarias.

Leyendo este artículo:

• ¿Qué es el SEO técnico en Google? Guía de mejores prácticas
• Almacenamiento en caché de páginas del sitio usando .htaccess - Caché

Gracias por leer: AYUDANTE DE SEO | NICOLA.TOP