ClaudeBot

ClaudeBot (y su variante Claude-Web) es el rastreador de Anthropic que recopila contenido publico para Claude. Igual que GPTBot, se permite o bloquea de forma explicita en `robots.txt`, y su bloqueo es una de las comprobaciones tecnicas mas basicas y mas frecuentemente pasadas por alto en auditorias SEO tradicionales que no contemplan bots de IA.

Muchas configuraciones de `robots.txt` generadas por defecto, o copiadas sin revision de plantillas antiguas de hace anos, bloquean de forma generica cualquier user-agent no reconocido explicitamente en una lista blanca, lo que sin querer bloquea tambien a ClaudeBot y al resto de rastreadores de IA aparecidos mas recientemente en el panorama tecnologico. Es un error tecnico completamente invisible desde el punto de vista del negocio afectado: la web sigue funcionando con total normalidad para usuarios humanos y para Google, las metricas de trafico y conversion no muestran ninguna caida detectable, pero el sitio desaparece por completo como fuente citable para Claude sin que nadie lo note hasta que alguien audita especificamente el fichero `robots.txt` linea por linea. Este tipo de error es especialmente comun en webs gestionadas por agencias que no han actualizado su configuracion de rastreo desde antes de que los motores generativos existieran como categoria de trafico relevante a tener en cuenta.

De los dominios reales analizados publicamente en /ejemplos por el Observatorio Botec, la comprobacion de bots bloqueados en `robots.txt` es uno de los hallazgos que mas varia entre negocios del mismo sector -- confirmando que permitir explicitamente a los rastreadores de IA todavia no es, ni de lejos, una practica generalizada en el mercado local. Algunos de esos dominios permiten todos los bots relevantes, otros bloquean varios sin que su propietario lo sepa siquiera.

Es exactamente el tipo de comprobacion que una auditoria GEO anade sobre una auditoria SEO tradicional, que historicamente no revisaba bots de IA porque simplemente no formaban parte del panorama tecnologico cuando se disenaron los checklists de auditoria mas usados en el sector. Revisarlo hoy cuesta minutos y no requiere ningun cambio de contenido, solo una linea de configuracion -- pero su impacto en visibilidad, si esta mal configurado, es total y no parcial. Un negocio puede llevar meses invirtiendo en contenido de calidad sin saber que ese esfuerzo nunca llega a Claude por culpa de una sola linea heredada de una plantilla antigua.

Dato verificable: el robots.txt de analiza.botec.es permite explicitamente a ClaudeBot y Claude-Web (comprobable en /robots.txt).