Cómo comprobar si tu web bloquea rastreadores de IA sin saberlo

Este es, probablemente, el fallo técnico más común y más silencioso en materia de visibilidad generativa: un fichero `robots.txt` configurado hace años, antes de que existieran los rastreadores de los motores de IA, que bloquea de forma genérica cualquier user-agent no reconocido explícitamente. La web sigue funcionando con normalidad para usuarios y para Google. Nadie nota nada. Pero el sitio es invisible para ChatGPT o Claude, y nadie se entera hasta que alguien audita el fichero línea por línea.

Comprobarlo no requiere ninguna herramienta especial: basta con abrir en un navegador la URL `tudominio.com/robots.txt` y leer el contenido como texto plano. Estos son los rastreadores de IA generativa que conviene revisar explícitamente, con el estado real de este mismo sitio como referencia:

Si al abrir tu propio `robots.txt` encuentras una línea como `User-agent: * / Disallow: /` sin excepciones explícitas para estos rastreadores, es muy probable que los estés bloqueando sin haberlo decidido nunca de forma consciente -- simplemente heredaste una configuración pensada para un contexto anterior a que estos bots existieran como categoría relevante de tráfico.

La corrección, cuando hace falta, es rápida: añadir una regla explícita de `Allow` para cada user-agent que quieras permitir, antes de cualquier regla genérica más restrictiva. No requiere tocar ningún contenido de la web, ni redeploy de la aplicación en la mayoría de los casos -- solo el fichero de texto en la raíz del dominio. Es, en proporción esfuerzo/impacto, una de las correcciones técnicas más rentables que existen en toda la disciplina GEO.

Bloquear a estos rastreadores no impide necesariamente que un motor generativo mencione tu marca -- puede haberla aprendido de otras fuentes, o de datos de entrenamiento anteriores a cualquier bloqueo -- pero sí impide que tu contenido actual y específico pueda ser citado con precisión en respuestas que consultan la web en tiempo real. Dado el coste casi nulo de la corrección frente al impacto potencial, revisar el `robots.txt` debería ser el primer paso de cualquier auditoría GEO, antes incluso de tocar una sola palabra del contenido.