Cloudflare puede estar escribiendo el robots.txt de tu web

Un archivo que no escribiste tú

Si la web de tu clínica, tu despacho o tu empresa de reformas pasa por Cloudflare, y pasan muchísimas porque es el proxy gratuito por defecto de medio internet, hay una función relativamente nueva que decide qué robots de IA pueden leer tu contenido. Se llama Bot Preference Sync y escribe tu robots.txt por defecto. No te pregunta. Tú marcas tres casillas en un panel y el sistema las traduce a reglas dentro de tu dominio.

El robots.txt es ese archivo de texto plano, en la raíz de tu web, donde se dice qué programas automáticos pueden pasar y cuáles no. Nadie lo mira nunca, y precisamente por eso es un sitio cómodo para que aparezcan decisiones que no has tomado.

Por qué le importa a un negocio local

Cada vez más clientes no llegan buscando «fontanero urgente Valencia» y pinchando el tercer resultado. Le preguntan a un chat, a un asistente o al modo con IA del buscador, y se quedan con los dos o tres negocios que aparecen en la respuesta. Para que aparezcas ahí, el rastreador tiene que poder leerte primero.

Un bloqueo automático puesto por una integración que nadie revisó te saca de esa conversación sin que salte ningún error en Search Console ni se mueva ninguna posición. No hay caída que investigar: simplemente dejas de existir en la capa nueva. Es el mismo silencio que ya vimos con el bloqueo de un rastreador concreto que deja la web invisible para la IA, solo que ahora la regla puede aparecer sola.

El problema de fondo: por categoría, no por robot

Aquí está el punto que de verdad duele: el sistema agrupa a los rastreadores por categoría de uso, no por nombre. Y la política real de casi cualquier negocio no es una categoría. Lo normal es querer que entre el rastreador que alimenta las respuestas con citas, porque de ahí salen clientes, y dejar fuera al que solo copia contenido a lo bruto. Con tres ajustes genéricos no puedes expresar eso. Te obliga a abrir de más o a cerrar de más.

Dicho esto, la idea de fondo tiene sentido. Casi nadie mantiene su robots.txt a mano, y el resultado habitual es un archivo copiado de un tutorial de hace años que no describe nada de lo que el negocio quiere hoy. Un valor por defecto razonable es mejor que el abandono. El peligro no es la herramienta: es no saber que está activa. Si quieres la versión larga de cómo cerrar el entrenamiento sin perder al buscador, lo desarrollé en cómo decir que no al entrenamiento de IA sin perder a Google.

Quién debería mirarlo hoy mismo

Sobre todo los negocios que no gestionan su propio hosting: el que le montó la web puso el proxy «para que vaya rápida y no la hackeen», y ahí se quedó. También cualquiera que haya cambiado de servidor en el último año, porque en esas mudanzas se heredan configuraciones sin revisarlas.

Si vendes servicios locales y tu diferencial es aparecer justo cuando alguien tiene una urgencia, bloquear lectores automáticos de contenido es tirarte piedras sobre tu propio tejado. Y el coste de comprobarlo son dos minutos.

Que una plataforma tome decisiones por defecto no es malo en sí. Lo malo es enterarte dentro de un año, cuando ya no apareces en ninguna respuesta. Si quieres que lo miremos nosotros y te dejemos el archivo con criterio, es parte de SEO para IA.