Herramienta gratuita
Validador de robots.txt
El validador lee el robots.txt con las mismas reglas que aplica Google y muestra, para cada URL y cada bot, si puede rastrear y qué línea del archivo lo decide. Incluye los bots de búsqueda de Google y Bing y los de inteligencia artificial, separados entre los que buscan, los que visitan a pedido de un usuario y los que entrenan modelos. El archivo se puede traer desde cualquier sitio o pegar, y se puede editar para probar un cambio antes de publicarlo.
0 líneas · 0 grupos · 0 sitemaps · sin errores de sintaxis
Bots
Cómo decide Google si un bot puede rastrear una URL
- Las líneas User-agent seguidas forman un grupo, y las reglas que vienen después le pertenecen. Si el mismo bot aparece en varios grupos, Google los fusiona.
- Cada bot obedece solo al grupo más específico que lo nombra. Si ningún grupo lo nombra, obedece al de «User-agent: *». Googlebot-Image, Googlebot-Video y Googlebot-News siguen al grupo de Googlebot cuando no tienen uno propio, y AdsBot-Google no obedece al grupo «*».
- Entre las reglas que coinciden con la URL gana la más larga. Si una Allow y una Disallow tienen el mismo largo, gana Allow.
- «*» reemplaza cualquier secuencia de caracteres y «$» marca el final de la URL. Las rutas distinguen mayúsculas de minúsculas; los nombres de los bots, no.
- Google solo lee los primeros 500 KiB del archivo y lo guarda en caché por hasta 24 horas, así que un cambio puede tardar un día en aplicarse.
- El propio /robots.txt siempre se puede rastrear, aunque una regla diga lo contrario.
Qué hace Google según la respuesta del servidor al pedir el robots.txt
| Respuesta | Qué hace Google |
|---|---|
| 2xx | Lee el archivo y aplica sus reglas. |
| 3xx | Sigue hasta 5 redirecciones. Si son más, trata el robots.txt como inexistente. |
| 4xx (salvo 429) | Lo trata como inexistente: puede rastrear todo el sitio. |
| 429 y 5xx | Trata el sitio como bloqueado mientras dure el error. Si pasan 30 días, usa la última copia que tenga o, sin copia, rastrea sin restricciones. |
| Sin respuesta | Un tiempo de espera agotado o un error de DNS cuentan como error de servidor. |
Bots de IA: búsqueda, visitas del usuario y entrenamiento
Las empresas de IA separan sus bots por función, y cada uno se controla por separado. OAI-SearchBot decide si un sitio aparece como fuente en ChatGPT search; GPTBot solo decide el entrenamiento de los modelos de OpenAI. Bloquear GPTBot no saca al sitio de las respuestas de ChatGPT; bloquear OAI-SearchBot sí. En Perplexity no existe un bot de entrenamiento: PerplexityBot solo alimenta sus resultados, así que bloquearlo solo resta visibilidad.
Google-Extended no es un rastreador sino un token de control que lee Googlebot. Bloquearlo saca el contenido del entrenamiento de Gemini y de las respuestas con grounding de la app Gemini, sin efecto en la búsqueda de Google. AI Overviews y AI Mode usan el rastreo normal de Googlebot.
Los agentes que visitan una página porque un usuario lo pidió no siempre obedecen el robots.txt. OpenAI advierte que sus reglas pueden no aplicarse a ChatGPT-User, y Perplexity declara que Perplexity-User en general las ignora. Para esos casos solo sirve un bloqueo en el servidor o en el firewall.
Bloquear el rastreo no saca una página de Google
Un Disallow impide que Googlebot lea la página, pero no que la indexe: si la página recibe enlaces, puede aparecer en los resultados sin descripción. Para sacarla del índice se usa noindex en la meta robots o en la cabecera X-Robots-Tag, y para que Google vea ese noindex la página no puede estar bloqueada en el robots.txt. Google dejó de aceptar la directiva noindex dentro del robots.txt en septiembre de 2019.
Preguntas frecuentes
¿Este validador lee el robots.txt igual que Google?
Aplica las reglas que Google documenta para su rastreador y las de su librería de código abierto: grupos por user-agent, la regla más larga gana, Allow gana en caso de empate, comodines, el límite de 500 KiB y las erratas que Google acepta, como «disalow». Bing y otros buscadores siguen el mismo estándar (RFC 9309) con diferencias menores, como Crawl-delay, que Bing respeta y Google ignora.
¿Cómo se bloquea a los bots de IA sin perder visibilidad en ChatGPT o Perplexity?
Se bloquean los bots de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot) y se permiten los de búsqueda (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot y Bingbot). Cada uno tiene su propio grupo de User-agent, así que se pueden decidir por separado.
¿Por qué un bot aparece bloqueado si no tiene un grupo propio?
Porque obedece al grupo «User-agent: *». Un error común es bloquear todo con «User-agent: *» y «Disallow: /» y abrir solo a Googlebot y Bingbot: así quedan fuera también OAI-SearchBot, PerplexityBot y el resto de los buscadores de IA.
¿Qué pasa si el robots.txt pesa más de 500 KiB?
Google lee solo los primeros 500 KiB y descarta el resto, así que las reglas que quedan más abajo no existen para Googlebot. El validador marca ese caso y evalúa solo la parte que Google lee.
Para profundizar
Más herramientas en Herramientas SEO.