Generador de robots.txt
Elige una plantilla, ajusta qué rutas pueden rastrear los buscadores, añade tu sitemap y descarga un robots.txt correcto. Incluye un comprobador para saber si una URL concreta quedará permitida o bloqueada.
Comprobar una URL
Cómo usar el generador
Empieza por la plantilla más parecida a tu sitio y modifica las rutas. Cada línea de los cuadros Disallow y Allow se convierte en una regla para todos los rastreadores (User-agent: *). Las casillas crean grupos independientes que bloquean por completo a bots concretos, como los de entrenamiento de IA o las herramientas SEO que consumen ancho de banda. Al final, copia el resultado o descárgalo y súbelo a la raíz de tu dominio. Con el comprobador puedes verificar cómo interpretará Google una ruta concreta antes de publicarlo.
Sintaxis de robots.txt
| Directiva | Significado | Ejemplo |
|---|---|---|
| User-agent | A qué rastreador se aplica el grupo. * = todos los que no tengan grupo propio. | User-agent: Googlebot |
| Disallow | Ruta que no debe rastrearse. Vacío = sin restricciones. | Disallow: /admin/ |
| Allow | Excepción dentro de una ruta bloqueada. | Allow: /admin/publico.css |
| Sitemap | URL absoluta del mapa del sitio. Puede haber varias. | Sitemap: https://ejemplo.com/sitemap.xml |
| * | Comodín: cualquier secuencia de caracteres. | Disallow: /*?orden= |
| $ | Fin de la URL. | Disallow: /*.pdf$ |
Cómo decide Google qué regla se aplica
Según el estándar RFC 9309, que sigue Google, un rastreador usa solo el grupo con el User-agent más específico que le corresponda: si existe un grupo Googlebot, Googlebot ignora el grupo *. Dentro del grupo gana la regla más larga (con más caracteres) que coincida con la ruta; si un Allow y un Disallow empatan en longitud, gana Allow. Por eso Allow: /wp-admin/admin-ajax.php prevalece sobre Disallow: /wp-admin/. Las rutas distinguen mayúsculas y minúsculas: /Fotos/ y /fotos/ son distintas.
Ejemplos
Tienda online que bloquea filtros y carrito
User-agent: *
Disallow: /carrito/
Disallow: /*?orden=
Disallow: /*?filtro=
Sitemap: https://tienda.ejemplo/sitemap.xml
Así evitas que el buscador gaste su presupuesto de rastreo en miles de combinaciones de filtros. Si dudas de qué parámetros genera tu tienda, el analizador de URL descompone cada dirección en sus partes.
Web en desarrollo
User-agent: *
Disallow: /
Útil en un entorno de pruebas, pero recuerda quitarlo al publicar: es uno de los errores más comunes al lanzar una web. Para mayor seguridad, protege además el entorno con contraseña.
Errores frecuentes
- Bloquear CSS y JavaScript: Google necesita esos archivos para renderizar la página y evaluar si es apta para móviles.
- Usar robots.txt para ocultar información privada: el archivo es público; cualquiera puede leer las rutas que listas.
- Combinar Disallow con noindex: si bloqueas el rastreo, Google no verá la meta robots. Genera la etiqueta correcta con el generador de meta tags.
- Servir el archivo con errores: si
/robots.txtdevuelve un error 5xx, Google puede pausar el rastreo de todo el sitio. Revisa qué significa cada respuesta en la lista de códigos de estado HTTP.
Preguntas frecuentes
¿Dónde se coloca el archivo robots.txt?
En la raíz del dominio, accesible en https://tudominio.com/robots.txt. Cada subdominio (por ejemplo, blog.tudominio.com) necesita el suyo propio.
¿Disallow evita que una página aparezca en Google?
No del todo. Disallow impide rastrear la página, pero Google puede indexar la URL si recibe enlaces, aunque sin descripción. Para que no aparezca, deja que se rastree y usa <meta name="robots" content="noindex">.
¿Cómo bloqueo a los bots de inteligencia artificial?
Añade un grupo por cada rastreador con Disallow: /, por ejemplo GPTBot (OpenAI), Google-Extended (entrenamiento de Gemini), CCBot (Common Crawl) o ClaudeBot (Anthropic). La plantilla «Bloquear bots de IA» los incluye. Solo funciona con bots que respetan robots.txt.
¿Qué pasa si no tengo robots.txt?
Si el servidor devuelve un 404, los buscadores entienden que pueden rastrear todo. No es un error; solo conviene crearlo si quieres excluir zonas o indicar el sitemap.