TL;DR
- Una canalización de sitio web a RAG tiene cinco etapas duraderas: rastrear, normalizar, dividir, incrustar, almacenar y consultar con citas de origen.
- Mantenga los metadatos de rastreo y los IDs de documento estables para que las páginas cambiadas o eliminadas puedan actualizarse en el almacenamiento vectorial.
- El código a continuación se ejecuta sin conexión con un pequeño fixture y una incrustación demo determinista; reemplace su adaptador y función de incrustación para producción.
- Evalúe el soporte de respuesta y la frescura después de la recuperación. Una respuesta de rastreo exitosa por sí sola no es un sistema RAG exitoso.
¿Qué necesita conservar una canalización RAG de un sitio web?
Un corpus de sitio web no es un saco de cadenas Markdown. Cada página necesita URL de origen, URL canónica, hora de rastreo, título, contenido y un ID estable. Nstdata Crawl documenta el rastreo del sitio y múltiples salidas, mientras que su guía de API de rastreo describe el estado, la lista de páginas y la recuperación de artefactos. El rastreador es la etapa de adquisición; su aplicación es responsable de aceptación, fragmentación, incrustación, indexación y verificación de citas. Utilice un sitio permitido y acotado para la primera ejecución.
El código a continuación es una demostración completamente ejecutable fuera de línea con la biblioteca estándar de Python. Su fixture representa la salida normalizada de un adaptador de rastreo. El vector basado en hash es intencionalmente un doble determinista de prueba; no es una incrustación semántica y nunca debe usarse para juzgar la calidad de la respuesta. Un adaptador de producción sondearía un rastreo de Nstdata, recuperaría referencias Markdown y pasaría objetos Page a las mismas funciones posteriores. La documentación pública no coincide en algunas etiquetas de rutas de raspado, así que confirme la ruta en vivo antes de implementar ese paso de red.
Ejemplo completo de rastreo a consulta
Guarde esto como y ejecute . Imprime la fuente del fragmento de mayor puntuación para una consulta de muestra.
