robots.txt explicado en 5 minutos (y el error que te hace invisible)
El robots.txt es un archivo diminuto que puede estar bloqueando toda tu web en Google sin que lo sepas. Te explicamos qué es, para qué sirve y cómo revisarlo.
Hay un archivo de texto minúsculo, a veces de solo dos líneas, que tiene el poder de borrar tu web entera de Google. Se llama robots.txt, vive en la raíz de tu sitio y la mayoría de los dueños de webs no saben que existe. Hasta que un día descubren que lleva meses diciéndole a Google "no entres" — y ahí está la razón de que no aparezcan.
Vamos a entenderlo en cinco minutos para que puedas comprobar que el tuyo no te está saboteando.
Qué es el robots.txt
Es un archivo que actúa como el portero de tu web. Cuando el robot de Google (Googlebot) llega a tu sitio, lo primero que hace es leer este archivo para saber a qué zonas puede entrar y a cuáles no. Es una lista de instrucciones del tipo "puedes pasar aquí, pero no allí".
Su uso legítimo es sensato: evitar que Google pierda el tiempo rastreando zonas que no aportan nada — el panel de administración, páginas internas de sistema, resultados de búsqueda interna. En esos casos, bloquear tiene todo el sentido.
El problema aparece cuando bloquea de más.
El error que hace invisible tu web
Existe una instrucción que significa "no entres en ninguna parte de esta web":
User-agent: *
Disallow: /
Esa barra sola después de Disallow significa "todo". Si tu robots.txt tiene esas líneas, le estás diciendo a todos los buscadores que no rastreen ninguna página. Y obedecen.
¿Por qué acaba ahí ese bloqueo? Casi siempre por lo mismo: durante el desarrollo de la web se bloquea a propósito para que Google no indexe una versión a medio hacer. Y cuando la web se publica, nadie se acuerda de quitarlo. La web queda perfecta, funciona para todos… menos para Google, que sigue leyendo el cartel de "prohibido el paso". Como ya contamos en por qué tu web no aparece en Google, es una de las causas más frecuentes y más silenciosas.
Cómo revisar el tuyo ahora mismo
Es facilísimo. Escribe en tu navegador la dirección de tu web seguida de /robots.txt:
https://tudominio.com/robots.txt
Verás el contenido del archivo. Ahora fíjate:
| Si ves esto… | Significa… |
|---|---|
Disallow: / | 🚨 Estás bloqueando TODA tu web. Problema grave |
Disallow: /wp-admin/ (o rutas concretas) | Normal. Solo bloqueas zonas específicas |
Disallow: (vacío) o Allow: / | Todo abierto. Sin bloqueos |
| Un error 404 (no existe el archivo) | Google puede rastrear todo. No es grave |
Si ves esa barra sola después de Disallow en un User-agent: *, ese es tu problema, y arreglarlo es cuestión de minutos para quien mantenga tu web.
Un matiz importante: bloquear no es lo mismo que ocultar
Aquí mucha gente se confunde. El robots.txt controla si Google rastrea (entra a leer) una página, pero no garantiza que no aparezca en los resultados. A veces Google muestra una página bloqueada por robots.txt si otras webs la enlazan, aunque sin poder leer su contenido.
Para asegurarte de que una página no aparezca de verdad, se usa otra herramienta distinta: la etiqueta noindex, que explicamos también en ese artículo. Son cosas diferentes que se confunden constantemente:
- robots.txt → "no entres a leer esta zona"
- noindex → "puedes leerla, pero no la muestres en resultados"
Usar la equivocada es un clásico que provoca justo lo contrario de lo que se busca.
El sitemap: la otra cara de la moneda
Ya que estás en el robots.txt, aprovecha para incluir la dirección de tu sitemap ahí dentro. Es una buena práctica que ayuda a Google a encontrar el mapa de tu web. Hablaremos del sitemap en detalle en el próximo artículo, pero una línea como esta al final del archivo suma:
Sitemap: https://tudominio.com/sitemap.xml
Resumen
El robots.txt es diminuto pero tiene poder de vida o muerte sobre tu visibilidad. Dedica dos minutos a mirar el tuyo: entra en tudominio.com/robots.txt y comprueba que no haya un Disallow: / bloqueándolo todo. Es de las revisiones más rápidas y con más impacto potencial que puedes hacer.
¿No sabes si tu robots.txt te está bloqueando?
En SeoSinDrama revisamos tu robots.txt, tu configuración de indexación y todo lo que pueda estar impidiendo que Google te muestre. Sin tecnicismos, sin humo, sin drama.
Dos líneas de texto pueden borrarte de Google. La buena noticia es que dos líneas también pueden devolverte.
¿Tu web tiene errores SEO?
Analiza tu sitio gratis y recibe un informe claro con las mejoras más importantes.
Auditar mi web ahora →