Como optimizar robots.txt para SEO en tu WordPress

El archivo Robots.txt le dice a los motores de búsqueda cómo rastrear tu sitio web, lo que lo convierte en una herramienta SEO increíblemente poderosa. En este artículo, te mostraremos cómo crear un archivo robots.txt perfecto para SEO.

¿Qué es el archivo robots.txt?

Robots.txt es un archivo de texto que los propietarios de sitios web pueden crear para indicar a los robots de los motores de búsqueda cómo rastrear e indexar páginas en su sitio.

Normalmente se almacena en el directorio raíz también conocido como la carpeta principal de su sitio web ( public_html ). El formato básico para un archivo robots.txt se ve así:

User-agent: [nombre del user-agent]
Disallow: [La URL que no debe ser rastreada]
 
User-agent: [nombre del user-agent]
Allow: [La URL que debe ser rastreada]

Sitemap: [URL de tu Sitemap XML]

Si no rechaza una URL, con Disallow, los robots de búsqueda suponen que están autorizados a rastrearla. Este archivo puede tener varias líneas de instrucciones para permitir o no permitir URL específicas y agregar múltiples mapas de sitio.

Aquí es cómo puede verse un archivo de ejemplo de robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://nombredelsitio.com/sitemap_index.xml

En el ejemplo de robots.txt anterior, hemos permitido a los motores de búsqueda rastrear e indexar archivos en nuestra carpeta de subidas de WordPress.

Después de eso, hemos rechazado los robots de búsqueda para rastrear e indexar los plugins y las carpetas de administración de WordPress.

Por último, hemos proporcionado la URL de nuestro sitemap XML.

¿Es necesario tener un archivo Robots.txt para su sitio de WordPress?

Si no tienes un archivo robots.txt, los motores de búsqueda seguirán rastreando e indexando tu sitio web. Sin embargo, no podrá indicar a los motores de búsqueda qué páginas o carpetas no deben rastrear.

Esto no tendrá mucho impacto cuando inicies un blog por primera vez y no tengas mucho contenido.

Sin embargo, a medida que tu sitio web crece y tiene una gran cantidad de contenido, es probable que desees tener un mejor control sobre cómo se rastrea e indexa tu sitio web.

Motivos por los cuales es importante tener un robots.txt:

• Los robots de búsqueda tienen una cuota de rastreo para cada sitio web. Esto significa que rastrean un cierto número de páginas durante una sesión de rastreo. Si no terminan de rastrear todas las páginas de tu sitio, volverán y reanudarán el rastreo en la próxima sesión.
• Esto puede disminuir la tasa de indexación de su sitio web.
• Puede solucionar este problema al impedir que los robots de búsqueda intenten rastrear páginas innecesarias como las páginas de administrador de WordPress, los archivos de complementos y la carpeta de temas.
• Al rechazar páginas innecesarias, guarda su cuota de rastreo. Esto ayuda a los motores de búsqueda a rastrear aún más páginas en tu sitio e indexarlos lo más rápido posible.
• Otra buena razón para usar el archivo robots.txt es cuando quieres evitar que los motores de búsqueda indexen una publicación o página en tu sitio web.
• No es la forma más segura de ocultar contenido al público en general, pero te ayudará a evitar que aparezcan en los resultados de búsqueda.

¿Qué aspecto debería tener un archivo Robots.txt ideal?

Muchos blogs populares utilizan un archivo robots.txt muy simple. Su contenido puede variar, dependiendo de las necesidades del sitio específico:

Para los sitios en WordPress, recomendamos las siguientes reglas en el archivo robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.nombredelsitio.com/post-sitemap.xml
Sitemap: http://www.nombredelsitio.com/page-sitemap.xml

Esto indica a los robots de búsqueda que indexen todas las imágenes y archivos de WordPress. No permite que los robots de búsqueda indexen los archivos de plugins de WordPress, el área de administración de WordPress, el archivo readme de WordPress y los enlaces de afiliados.

Al agregar sitemaps al archivo robots.txt, le facilita a los robots de Google encontrar todas las páginas en tu sitio.

¿Cómo crear un archivo Robots.txt en WordPress?

Hay dos formas de crear un archivo robots.txt en WordPress. Puedes elegir el método que más te convenga.

Método 1: Edición del archivo Robots.txt usando Yoast SEO

Si estás utilizando el plugin de Yoast SEO, este viene con un generador de archivos robots.txt.

Puedes usarlo para crear y editar un archivo robots.txt directamente desde el área de administración de WordPress.

Simplemente haz click en el menú (1) SEO » Herramientas en la administración de WordPress y luego clic en el enlace (2) Editor de archivos.

En la página siguiente, la página de SEO de Yoast mostrará su archivo robots.txt existente.

Si no tienes un archivo robots.txt, Yoast SEO generará un archivo robots.txt debes hacer click en el boton Crear robots.txt .

De manera predeterminada, el generador de archivos robots.txt de Yoast SEO agregará algunas reglas a tu archivo robots.txt:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Eliminamos este contenido que aparece por defecto y agregamos el formato de robots.txt que explicamos anteriormente. Quedaría de la siguiente manera.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.nombredelsitio.com/post-sitemap.xml
Sitemap: http://www.nombredelsitio.com/page-sitemap.xml

Una vez que hayas terminado, no olvides hacer clic en el botón “Guardar archivo robots.txt” para guardar los cambios.

Método 2. Editar archivo Robots.txt manualmente usando FTP

Para este método, necesitarás usar un cliente FTP para editar el archivo robots.txt.

Simplemente conéctate a tu cuenta de hosting de WordPress usando un cliente FTP. Una vez dentro, podrás ver el archivo robots.txt en la carpeta raíz de tu sitio web.

Si no ves uno, es probable que no tengas un archivo robots.txt. En ese caso, puedes seguir adelante y crear uno.

Robots.txt es un archivo de texto sin formato, es decir que puedes descargarlo en tu computadora y editarlo utilizando cualquier editor de texto sin formato como por ejemplo Notepad.

Después de guardar los cambios, debes cargarlos nuevamente en la carpeta raíz de su sitio web.

Probando el archivo robots.txt

Una vez que hayas creado tu archivo robots.txt, deberíamos probarlo con una herramienta de prueba de robots.txt.

Hay varias herramientas de prueba de robots.txt por ahí, pero recomendamos usar la de la Consola de búsqueda de Google.

Simplemente inicia sesión en tu cuenta de la Search Console de Google y luego cambia al sitio web de la antigua consola de búsqueda de Google.

Esto te llevará a la antigua interfaz de la Consola de búsqueda de Google. Desde aquí, debe iniciar la herramienta de prueba de robots.txt que se encuentra en el menú “Rastreo”.

La herramienta buscará automáticamente el archivo robots.txt de tu sitio web y resaltará los errores y advertencias si encuentra alguno.

Concluyendo

El objetivo de optimizar tu archivo robots.txt es evitar que los motores de búsqueda rastreen páginas que no están disponibles públicamente. Por ejemplo, las páginas en tu directorio wp-plugins o las páginas en tu directorio de administrador de WordPress.

Esperamos que este artículo te haya servido para aprender cómo optimizar tu archivo robots.txt de WordPress para SEO.

Si te ha gustado este artículo envíanos un comentario y comparte con tus amigos.

---