Cómo generar un robots TXT en WordPress

El archivo robots.txt es un documento de texto que indica a los buscadores qué partes de tu web pueden rastrear y cuáles no. En WordPress puedes generarlo de forma sencilla, ya sea con un plugin de SEO como Yoast o Rank Math, o creando el archivo manualmente en la raíz de tu alojamiento web. Es una herramienta básica para controlar el rastreo de tu sitio.

Qué es un robots.txt en WordPress

Dentro del SEO existen muchas herramientas para optimizar una página web y ayudar a que los motores de búsqueda, como Google, la rastreen e indexen mejor. El robots.txt es una de ellas: un archivo en formato texto que indica a los rastreadores qué partes del sitio pueden visitar y cuáles deben ignorar. Por ejemplo, hay secciones que no aporta nada que Google rastree, como ciertas carpetas internas, y mediante este archivo puedes pedir que no lo hagan. También permite restringir el acceso de determinados bots. WordPress facilita mucho esta tarea, ya que genera un robots.txt virtual por defecto y permite personalizarlo sin complicaciones.

Qué es una araña o bot

Una araña, bot o rastreador (crawler) es un programa automático que recorre internet siguiendo enlaces para descubrir y analizar páginas. Los más conocidos son los de los buscadores, como Googlebot (de Google) o Bingbot (de Bing), que visitan tu web, leen su contenido y lo añaden a su índice para mostrarlo después en los resultados de búsqueda. No todos los bots son de buscadores: algunos recopilan información con otros fines, y por eso a veces interesa limitar a cuáles permites el acceso. El robots.txt es justamente el mecanismo estándar para comunicarse con todos ellos.

Para qué sirve y dónde se ubica

El robots.txt sirve, sobre todo, para gestionar el presupuesto de rastreo: orientar a los buscadores hacia el contenido que de verdad importa y evitar que pierdan tiempo en secciones irrelevantes. Conviene tener clara una distinción importante: este archivo controla el rastreo, no la indexación. Es decir, bloquear una URL en el robots.txt evita que se rastree, pero si quieres asegurarte de que una página no aparezca en Google, lo más fiable es usar la etiqueta meta “noindex” en esa página. Usados de forma combinada y coherente, ambos recursos te dan un control preciso sobre cómo te ven los buscadores.

Dónde se sitúa el archivo robots.txt

El robots.txt debe ubicarse siempre en la raíz del dominio, de modo que sea accesible en una dirección del tipo “tudominio.com/robots.txt”. Esa es la ubicación en la que los buscadores lo buscan automáticamente antes de rastrear el sitio. Si lo colocas en una subcarpeta, no surtirá efecto. Puedes comprobar el tuyo escribiendo esa dirección en el navegador.

Cómo crear un archivo robots.txt para WordPress

Tienes dos caminos principales para crear o editar el robots.txt en WordPress. El primero, y más cómodo, es usar un plugin de SEO. Con Yoast SEO, por ejemplo, puedes ir a Yoast SEO > Herramientas > Editor de archivos y modificar el contenido directamente desde el escritorio de WordPress; Rank Math ofrece una opción equivalente. El segundo camino es crear el archivo manualmente: redactas un documento de texto llamado exactamente “robots.txt” y lo subes a la raíz de tu sitio a través del administrador de archivos de tu alojamiento web o mediante un cliente FTP. Ambos métodos son válidos; la elección depende de si prefieres trabajar desde WordPress o acceder directamente a los archivos del servidor.

Ejemplo de robots.txt

Un robots.txt sencillo y habitual en una instalación de WordPress podría ser el siguiente:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap.xml

En este ejemplo, “User-agent: *” se aplica a todos los bots; “Disallow: /wp-admin/” impide el rastreo de la carpeta de administración; “Allow: /wp-admin/admin-ajax.php” deja accesible un archivo que sí conviene que funcione; y la línea “Sitemap” indica a los buscadores dónde encontrar tu mapa del sitio, lo que facilita el rastreo de todas tus páginas importantes.

Puedes adaptar estas reglas a tus necesidades. Por ejemplo, es posible especificar instrucciones distintas para un bot concreto indicando su nombre en “User-agent”, o añadir varias líneas “Disallow” para bloquear distintas rutas. La sintaxis es sencilla, pero cada línea cuenta, así que conviene revisarla con calma antes de guardar los cambios.

Otros usos habituales del robots.txt

Más allá de bloquear la carpeta de administración, el robots.txt se utiliza para otras tareas frecuentes en webs y tiendas online. Por ejemplo, evitar el rastreo de las páginas de resultados de búsqueda internos, de los filtros que generan direcciones casi idénticas o de zonas en pruebas que todavía no quieres mostrar. En proyectos grandes, donde el número de URLs es muy elevado, orientar bien a los rastreadores ayuda a que dediquen su tiempo a las páginas que de verdad quieres posicionar. Eso sí, conviene revisar cada regla, porque bloquear de más puede ser tan perjudicial como no bloquear nada.

Buenas prácticas y errores a evitar

Al configurar el robots.txt conviene ser prudente, porque un error puede dejar tu web fuera de los buscadores. Evita bloquear por descuido carpetas que contienen recursos necesarios, como hojas de estilo o imágenes, ya que Google necesita verlos para entender bien tus páginas. No utilices el robots.txt para ocultar información sensible: al ser un archivo público, cualquiera puede leerlo, así que para proteger contenido privado hay que recurrir a otros métodos. Y, tras cualquier cambio, comprueba el resultado; herramientas como Google Search Console permiten verificar que los buscadores interpretan el archivo como esperas.

Preguntas frecuentes

¿WordPress crea un robots.txt automáticamente?

Sí. WordPress genera un robots.txt virtual por defecto con unas reglas básicas. Puedes verlo en “tudominio.com/robots.txt”. Si quieres personalizarlo, puedes editarlo con un plugin de SEO o sustituirlo por un archivo físico en la raíz del sitio.

¿Bloquear una página en robots.txt la elimina de Google?

No necesariamente. El robots.txt impide el rastreo, pero una URL bloqueada podría seguir apareciendo en los resultados si tiene enlaces externos. Para evitar que se indexe de forma fiable, usa la etiqueta “noindex” en la propia página.

¿Es obligatorio tener un robots.txt?

No es obligatorio. Si no lo tienes, los buscadores rastrearán tu web con normalidad. Sin embargo, contar con uno bien configurado te ayuda a orientar el rastreo y a indicar la ubicación de tu sitemap, algo muy recomendable.