Generador de robots.txt
Configura las reglas de rastreo de tu web y genera un robots.txt listo para copiar o descargar.
Preguntas frecuentes
¿Para qué sirve robots.txt?
Permite indicar a los rastreadores qué rutas pueden o no solicitar. No es un mecanismo de seguridad y una URL bloqueada puede seguir apareciendo en resultados si otros sitios enlazan a ella.
¿Debo bloquear CSS o JavaScript?
En general no conviene bloquear recursos necesarios para que un buscador pueda interpretar correctamente la página. Utiliza las reglas solo para rutas cuyo rastreo no necesites.
¿Dónde se publica el archivo?
Normalmente en la raíz del dominio, por ejemplo https://www.ejemplo.com/robots.txt.