Por qué Google puede ignorar tu robots.txt en una web local
Por Jesús Porres · Publicado el 25 de julio de 2026
El robots.txt es de esos ficheros que casi nadie mira hasta que algo va mal. Lo montas una vez, das por hecho que Google le hace caso y sigues con tu vida. El problema es que hay situaciones bastante normales en las que Googlebot se salta tus reglas por completo y rastrea justo lo que tú creías tener bloqueado. Si tienes una fontanería, una clínica dental o un despacho en Valencia, esto no es un tecnicismo: es la diferencia entre que Google mire tus páginas buenas o se pierda dando vueltas por donde no toca.
Qué es el robots.txt (y qué no es)
El robots.txt es un fichero de texto que vive en la raíz de tu dominio y le dice a los rastreadores qué partes de la web pueden rastrear. Hasta ahí, sencillo. Lo que casi nadie tiene claro son dos matices que lo cambian todo. El primero: bloquear una página en el robots.txt no la borra de Google. Una página bloqueada puede seguir apareciendo en los resultados, a menudo sin descripción, porque le has pedido a Google que no la rastree, no que la olvide.
El segundo matiz es el que genera más líos: las reglas son específicas por dirección exacta. El robots.txt de la versión con www no vale para la versión sin www, ni el de https cubre al de http, ni el de tu dominio principal manda sobre un subdominio. Cada combinación de protocolo y host es, a ojos de Google, un sitio distinto que necesita su propio robots.txt bien servido. Ahí es donde empiezan casi todos los problemas.
Por qué Googlebot acaba pasando de tus reglas
La clave es simple: si el fichero no está donde y como Google lo espera, Google no lo usa. Los casos que veo una y otra vez en webs de pyme son casi siempre los mismos. El robots.txt responde tras una redirección a otro dominio. Devuelve un error de servidor, un 5xx, en lugar del texto. Está publicado en un subdominio que no es el de la web que se rastrea. O directamente no existe en la variante concreta, con www o sin ella, con http o https, que Google está mirando ese día.
Cuando ocurre cualquiera de esas cosas, tú crees que estás bloqueando el carrito, el panel de administración o un montón de páginas duplicadas, y Google entra igual. El resultado es que gasta su tiempo de rastreo en lo que no vende, mientras tus páginas importantes esperan. Nadie te avisa: no salta ningún error visible, simplemente tu web rinde por debajo de lo que podría.
Qué te juegas siendo un negocio local
En una web de servicios con 20 o 40 URLs útiles, cada rastreo mal dirigido pesa mucho. Si Google se dedica a recorrer filtros, parámetros o versiones duplicadas porque tu robots.txt no está haciendo su trabajo, tarda más en llegar a tus páginas de servicio y de zona, esas de «fontanero de urgencias en Valencia» u «ortodoncia invisible en Ruzafa» que son las que te traen llamadas. Es el mismo problema de fondo que cuando Google no indexa todas tus páginas: su atención es limitada y hay que dirigirla a lo que importa.
Por eso conviene revisarlo aunque no haya saltado ninguna alarma. Un robots.txt mal servido es un fallo silencioso, de los que no rompen nada de golpe pero te frenan mes a mes. Y se arregla en un rato si sabes dónde mirar.
Tres comprobaciones de robots.txt para esta semana
- Abre tus cuatro versiones.
Escribe en el navegador tudominio.es/robots.txt en las cuatro variantes: con www y sin www, con http y con https. En cada una debe salir el texto correcto, no una redirección a otra web ni un error.
- Contrástalo en Search Console.
Usa el informe de páginas y el probador de robots.txt para confirmar que Google ve el fichero que tú crees y que ninguna de tus páginas de servicio está bloqueada por error.
- Para sacar algo de Google, usa noindex.
Si necesitas que una página desaparezca de los resultados y no solo que no se rastree, pon la etiqueta noindex en la propia página. Bloquear en robots.txt no la borra.
Revisar esto a fondo y dejar que Google dedique su rastreo a lo que te vende es parte del trabajo de SEO local que hacemos.
Preguntas frecuentes sobre el robots.txt
¿Bloquear una página en el robots.txt la borra de Google?
No. El robots.txt solo pide a Google que no rastree esa página, pero una página bloqueada puede seguir apareciendo en los resultados, muchas veces sin descripción. Si lo que quieres es que desaparezca de Google, tienes que usar la etiqueta noindex dentro de la propia página y dejar que Google la rastree para verla. Bloquear no borra: son dos cosas distintas que se confunden a diario.
¿Por qué Google no hace caso a mi robots.txt?
Casi siempre porque el fichero no está donde Google lo busca. Las reglas son específicas por dirección: el robots.txt de la versión con www no cubre la versión sin www, ni http cubre https, ni un subdominio cubre a otro. Si en la versión que Google rastrea el fichero redirige a otro dominio, da un error de servidor o no existe, Google no aplica tus reglas y entra igual. Comprueba que devuelve un 200 con el texto correcto en cada variante.
¿Necesito un robots.txt si mi web es pequeña?
Te conviene tener uno, aunque sea sencillo, y sobre todo que esté bien servido. En una web de servicios con 20 o 40 páginas, que Google gaste su tiempo rastreando filtros, duplicados o zonas de administración retrasa que llegue a tus páginas de servicio y de ciudad, que son las que traen llamadas. Un robots.txt claro y accesible ayuda a que Google dedique su rastreo a lo que de verdad te vende.
¿Seguro que Google está rastreando lo que quieres?
Pide la auditoría gratuita y revisamos cómo te rastrea Google: si tu robots.txt está bien servido en todas las versiones, qué páginas se le escapan y en qué se está gastando el tiempo que debería dedicar a las que te traen clientes.
El trabajo completo de posicionamiento en tu zona, medido mes a mes, es nuestro SEO local.