Alimentando su sistema RAG con datos web frescos (Paso a Paso)

TL;DR

• Un pipeline de ingestión RAG necesita un rastreo de fuente de verdad, una identidad de documento estable y un camino de actualización; las incrustaciones por sí solas no mantienen las respuestas actuales.
• Utilice un rastreo de sitio para el descubrimiento de documentación limitado, luego valide cada página antes de limpiarla, dividirla, incrustarla e indexarla.
• Almacene source_url, crawled_at, content_hash, y una ID de página estable con cada fragmento para que las actualizaciones y citas se mantengan manejables.
• Trate el código a continuación como un plano de integración: los campos de la API siguen la documentación actual de Nstdata y de la biblioteca, pero el camino de extremo a extremo no se ejecutó con credenciales en vivo.

---

Introducción: Los datos frescos de la web son un problema de ingestión

Nstdata Crawl es la capa de colección en este flujo de trabajo; su visión general del producto describe la recuperación de páginas y sitios para los pipelines de datos en downstream.

Un modelo de lenguaje puede explicar una API a partir de sus datos de entrenamiento y aún así darle un nombre de parámetro obsoleto. Un sistema RAG reduce esa brecha al recuperar documentos en el momento de la respuesta, pero la recuperación es tan actual como los documentos ya indexados. Para alimentar un sistema RAG con datos frescos de la web, necesita un camino repetible desde las URL de origen hasta los registros validados y una forma de reemplazar o eliminar registros antiguos.

Esta guía construye ese camino para la documentación pública: Nstdata Crawl → Validación de Markdown → fragmentos conscientes de encabezados → incrustaciones → Chroma → recuperación. Se enfoca en la ingestión y frescura, no en entrenar un modelo. Nstdata Crawl maneja la adquisición de páginas y la conversión de contenido; su aplicación aún posee la política de datos, la segmentación, la indexación, el control de acceso y la evaluación de respuestas. La guía actual de Crawl describe la salida de Markdown, tareas de página/sitio, SDK de Python, estado de tareas y referencias de resultados grandes en su .