Los crawlers de OpenAI: guía para que tu web esté lista

¿Qué crawlers usa OpenAI y cuál tienes que permitir?

OpenAI tiene cuatro robots de lectura, cada uno con un trabajo distinto. Para anunciarte en ChatGPT, el obligatorio es OAI-AdsBot; OpenAI recomienda permitir también OAI-SearchBot. Los otros dos no van de anuncios, pero deciden si la IA puede leer tu web cuando un cliente pregunta por lo tuyo. Esta es la foto completa:

La guía oficial para anunciantes es esta página del centro de ayuda de OpenAI; aquí la traduzco a revisiones concretas que puedes encargar o hacer tú.

Por qué OpenAI visita tu página de destino

Por dos motivos, los dos a tu favor. Primero, seguridad: cuando envías un anuncio, el sistema visita la landing para comprobar que cumple las políticas. Segundo, relevancia: el contenido de esa página le sirve para decidir en qué conversaciones tu anuncio pinta algo. Bloquear el robot no te protege de nada. Te cuesta la aprobación del anuncio, o un emparejamiento peor. Y el contexto completo de cómo funcionan estos anuncios lo tienes en los conceptos básicos.

El robots.txt mínimo

El robots.txt es el archivo donde tu web dice a cada robot si puede pasar. Los de OpenAI lo respetan: si hay una regla que les prohíbe el paso, paran en seco. El bloque mínimo para anunciantes son estas cuatro líneas:

User-agent: OAI-AdsBot
Allow: /
User-agent: OAI-SearchBot
Allow: /

Un matiz que ahorra sustos: si tu robots.txt ya dice User-agent: * con Allow: / y sin reglas restrictivas después, todos los robots tienen paso y no necesitas añadir nada. El bloque explícito sirve cuando hay Disallow por medio o cuando quieres dejar la política escrita, que es lo que hacemos nosotros.

Las tres capas que bloquean sin que lo sepas

El error típico es revisar el robots.txt, verlo limpio y dar el tema por cerrado. La mayoría de los bloqueos reales ocurren después, en capas que el dueño de la web ni ve. OpenAI las describe en su guía y coinciden con lo que nos encontramos al auditar webs de pymes:

1. El propio robots.txt. Reglas heredadas de otro proyecto, un Disallow general puesto en su día «mientras terminamos la web» que nadie quitó, o plugins que lo reescriben solos.
2. La protección anti-bots del hosting o del CDN. Cloudflare, Akamai y similares confunden a veces a estos robots con tráfico hostil y devuelven errores 403. La pista está en los registros del firewall. OAI-AdsBot ya figura como bot verificado en la lista de Cloudflare, lo que reduce los falsos positivos; si tu seguridad exige rangos de IP fijos, OpenAI los publica en searchbot.json y adsbot.json dentro de su web.
3. La verificación humana. CAPTCHAs, retos de JavaScript o validación de sesión delante del contenido. Frenan a cualquier sistema automatizado, robots legítimos incluidos. La solución es eximir a los user agents de OpenAI de esas comprobaciones.

Una señal más a vigilar: errores 429 en los registros. Significan que tu servidor está limitando las peticiones del robot por volumen. Y el síntoma que más despista: la web va perfecta en tu navegador y aun así el robot no pasa. Tu navegador no es el robot.

Cómo lo tenemos configurado nosotros

En seo4pymes.com el robots.txt permite todo por defecto y, además, lista uno a uno los robots de IA con su Allow explícito: GPTBot, OAI-SearchBot, ChatGPT-User, los dos de Perplexity, el de Claude y Google-Extended. Técnicamente el permiso general ya bastaba; el bloque explícito deja la política escrita y a salvo de futuras reglas restrictivas. Puedes verlo en vivo en /robots.txt.

Junto a él publicamos un llms.txt: un resumen en texto plano de quiénes somos, qué servicios damos y qué precios tenemos, pensado para que la IA, sea ChatGPT, Gemini o Perplexity, lo lea sin pelearse con el HTML. Es la misma configuración que dejamos en las webs de los clientes, y la primera casilla que marcamos antes de hablar de campañas. El alta en la plataforma de anuncios, con su verificación y sus colas, va después: lo tienes paso a paso en Ads Manager de OpenAI.