Las herramientas SEO muestran muchas cosas sobre una web, pero los logs del servidor aportan una perspectiva diferente: registran las solicitudes que realmente han llegado al servidor. Eso permite comprobar qué URLs visita un bot, con qué frecuencia y qué respuesta recibe.
El análisis de logs es especialmente útil en sitios grandes o cuando existe una diferencia entre lo que esperamos que rastreen los buscadores y lo que realmente están solicitando.
Datos y limpieza
Qué información suele contener un log
Según la configuración del servidor, una línea de log puede incluir la fecha y hora, la URL solicitada, el método, el código de estado, el agente de usuario, la dirección de origen y otros datos técnicos.
Para SEO interesan sobre todo cuatro preguntas: qué bot realiza la petición, qué URL solicita, qué código HTTP recibe y con qué frecuencia vuelve.
Separar tráfico real de ruido
Un fichero de logs puede contener millones de solicitudes de usuarios, recursos estáticos, herramientas, bots legítimos y rastreadores poco útiles. Antes de sacar conclusiones conviene filtrar.
El user-agent ayuda a identificar solicitudes, aunque no debe tratarse como prueba absoluta de identidad. En análisis importantes puede ser necesario verificar además el origen de determinados bots.
Errores y consumo de rastreo
Detectar errores de rastreo
Los códigos 404, 5xx y las cadenas largas de redirecciones son especialmente interesantes. Si un bot solicita repetidamente URLs que ya no existen, conviene averiguar de dónde salen esos enlaces.
También merece atención una URL importante que devuelve un estado inesperado o una zona del sitio que recibe muchas peticiones sin aportar valor orgánico.
Ver dónde se consume el rastreo
En catálogos, filtros y sitios con muchas combinaciones de URL, los logs permiten descubrir si los bots dedican gran parte de sus solicitudes a parámetros, paginaciones o duplicados.
No se trata de bloquear cualquier URL poco importante. Primero hay que entender por qué existe, si puede ser necesaria para usuarios y cómo está enlazada.
Cruce con indexación
Comparar logs con sitemap e indexación
Una práctica útil consiste en cruzar tres grupos de datos:
- URLs incluidas en el sitemap;
- URLs que aparecen en los logs;
- URLs que deberían ser indexables según la arquitectura del sitio.
Las diferencias son informativas. Una URL del sitemap que nunca recibe rastreo puede tener problemas de descubrimiento. Una URL sin valor que recibe miles de peticiones puede estar consumiendo recursos innecesariamente.
Frecuencia y privacidad
Analizar frecuencia y evolución
Una foto de un solo día puede engañar. Es mejor trabajar con periodos suficientes para detectar patrones y comparar zonas del sitio.
Puedes agrupar las peticiones por directorio, plantilla, estado HTTP o tipo de bot. Con eso aparecen tendencias que no se ven mirando líneas individuales.
Privacidad y conservación
Los logs son datos operativos y pueden contener información sensible. Deben almacenarse, procesarse y conservarse con las medidas adecuadas. No hace falta guardar indefinidamente todo el tráfico para obtener conclusiones SEO.
Flujo de trabajo y bots
Flujo de trabajo recomendado
Empieza con una pregunta concreta. Por ejemplo: “¿los bots están rastreando demasiadas URLs de filtros?” o “¿las páginas nuevas se descubren con rapidez?”. Filtra los logs para responder a esa pregunta y después contrasta el resultado con la configuración del sitio.
El análisis de logs es más valioso cuando termina en una decisión técnica verificable, no cuando se convierte en otra colección de gráficos.
Verifica los bots importantes
El nombre declarado en el user-agent puede falsificarse. Si una conclusión importante depende de identificar a Googlebot u otro rastreador, utiliza los procedimientos de verificación recomendados por el propio proveedor.
Para un análisis exploratorio puede bastar con filtrar agentes, pero deja claro qué nivel de certeza tiene el dato.
Patrones y códigos
Excluye recursos que no aportan al análisis
Imágenes, CSS, JavaScript y otros archivos pueden representar gran parte del volumen. Si tu pregunta se centra en URLs HTML, sepáralos para no distorsionar las cifras.
En otros análisis sí pueden ser relevantes, por ejemplo si quieres investigar recursos que devuelven errores.
Agrupa parámetros y patrones
En lugar de revisar miles de URLs una a una, crea grupos por directorio, extensión o parámetros.
Esto permite detectar que una familia completa de filtros recibe mucho rastreo aunque cada URL individual aparezca pocas veces.
Observa códigos por sección
Cuenta qué porcentaje de solicitudes termina en 200, 3xx, 404 o 5xx en cada grupo.
Una zona con muchos 404 puede indicar enlaces internos antiguos, sitemaps desactualizados o URLs generadas por una plantilla.
Recencia y enlazado interno
Analiza la recencia del rastreo
Para páginas nuevas o actualizadas, comprueba cuánto tarda el bot en volver.
No todas las URLs necesitan la misma frecuencia. Compara páginas equivalentes y busca diferencias llamativas que puedan explicarse por enlazado o arquitectura.
Cruza con enlazado interno
Una URL importante con pocas visitas de bots puede estar demasiado profunda o recibir pocos enlaces.
Combinar logs con un rastreo interno ayuda a relacionar frecuencia de rastreo y facilidad de descubrimiento.
Servidor y automatización
Vigila el impacto en servidor
En sitios grandes, determinados bots o combinaciones pueden consumir recursos importantes.
No bloquees por intuición. Comprueba volumen, utilidad y origen antes de aplicar reglas que podrían impedir el rastreo de contenido valioso.
Automatiza sin perder la pregunta
Un script puede procesar millones de líneas, pero primero define qué quieres responder.
Empieza con una hipótesis concreta y crea solo las tablas necesarias. Para tareas repetitivas, automatizaciones con Python para SEO puede ayudarte a estructurar el análisis.
El valor de los logs está en contrastar expectativas con comportamiento real. Si el sitio dice que una URL es importante pero los rastreadores apenas llegan a ella, existe una señal que merece investigación.
