TL;DR
- El descubrimiento de URL debería combinar el análisis de mapas del sitio con la exploración de enlaces limitada; cualquiera de los métodos por sí solo omite páginas importantes.
- Canoniza temprano, mantiene la procedencia del descubrimiento y rechaza salidas, búsquedas, calendarios, trampas de parámetros y hosts fuera de alcance.
- Un mapa de URL es un inventario, no una prueba de que cada página sea útil o recuperable con éxito.
- Nstdata Crawl puede descubrir páginas internas bajo reglas explícitas de profundidad, página, inclusión, exclusión y consulta.
Por Qué El Descubrimiento de URL Es Más Difícil Que Leer sitemap.xml
Un rastreador de mapas del sitio puede comenzar con XML, pero muchos sitios tienen entradas de mapa del sitio obsoletas, páginas huérfanas, navegación JavaScript, URLs en idiomas alternativos y combinaciones de consultas que crean un espacio de rastreo infinito.
Modelo mental: Un mapa del sitio es el inventario declarado del sitio; un rastreo es el inventario que realmente puedes observar.
El protocolo de Sitemaps proporciona un feed estándar de URL, pero complementa en lugar de reemplazar el descubrimiento de enlaces.
Cuándo Necesitan las Equipos un Mapa de URL
Usos comunes incluyen inventarios de migración, auditorías de SEO, ingestión de documentación, análisis de enlaces rotos, monitoreo de cambios y determinación de qué páginas deben entrar en un corpus RAG. Cada uso necesita diferentes filtros; “todas las URL” rara vez es el objetivo de producción correcto.
Un Flujo de Trabajo de Mapa Seguro
Paso 1: Define el límite
Establece el host permitido, prefijos de ruta, número máximo de páginas, profundidad máxima y manejo de cadenas de consulta. Excluye inicio de sesión, cierre de sesión, carrito, cuenta, búsqueda del sitio, calendarios, navegación facetada y archivos grandes a menos que se requiera explícitamente.
Paso 2: Analiza los mapas del sitio declarados
Lee robots.txt para directrices de Sitemap:, luego procesa índices de mapa del sitio y conjuntos de URL. Almacena lastmod como una pista, no como una verdad garantizada.
Paso 3: Rastrea enlaces en amplitud
Obtén páginas aprobadas, extrae enlaces absolutos, normaliza fragmentos y puertos predeterminados, y agrega URLs internas no vistas a una cola. El descubrimiento en amplitud generalmente produce un inventario superficial más útil antes de que las ramas profundas consuman el presupuesto de páginas.
Paso 4: Canoniza y clasifica
Mantén tanto la URL descubierta como la clave canónica. Etiqueta cada URL por fuente, estado, tipo de contenido, idioma y página de referencia. No combines páginas distintas solo porque sus rutas se vean similares.
Ejemplo de Mapa del Sitio Nstdata Crawl
Nstdata Crawl puede iniciar un rastreo de sitio limitado y devolver resultados de páginas descubiertas. Este ejemplo con acceso restringido usa la forma de rastreo de sitio documentada; verifica los campos en la documentación actual.
curl --fail-with-body \ -X POST "https://api.nstdata.io/api/v1/crawl" \ -H "x-api-key: ${NSTDATA_API_KEY}" \ -H "Content-Type: application/json" \ -d '{ "url":"https://docs.example.com/", "formats":["links"], "maxDepth":3, "maxPages":500, "includeUrls":["https://docs.example.com/**"], "excludeUrls":["**/login**","**/search**"], "ignoreQuery":true }'
La salida representativa aceptada debe mantener la procedencia:
{"url":"https://docs.example.com/api","source":"crawl","depth":1,"status":200}
Consulta el ID de tarea devuelto, recupera cada cursor de resultados y compara los conteos de completed, failed y total. Consulta los fundamentos de rastreo web, las directrices de robots.txt, y el monitoreo de cambios en el sitio web.
Veredicto Final
El mapa de URL útil más rápido es limitado, canonizado y rico en evidencia. Combina declaraciones de mapa del sitio con enlaces internos observables, preserva por qué cada URL ingresó en la frontera y detén trampas de rastreo antes de que consuman el presupuesto.
Experimenta Nstdata — Comienza Tu Prueba Gratuita Hoy
FAQ
P: ¿Es un mapa del sitio una lista completa de URLs del sitio web?
No necesariamente. Puede estar obsoleto, incompleto o omitir páginas huérfanas y descubiertas por JavaScript.
P: ¿Deben ignorarse las cadenas de consulta?
Solo cuando los parámetros no cambien el contenido significativo. Preserva los parámetros necesarios para páginas localizadas o distintas.
P: ¿Cómo evito el descubrimiento infinito de URL?
Usa profundidad máxima y conteos de páginas, normaliza URLs, excluye trampas y aplica listas permitidas de hosts y rutas.
P: ¿Descubrir una URL significa que se ha raspado con éxito?
No. El descubrimiento, recuperación, análisis y aceptación son estados separados.
