Как автоматически поддерживать вашу базу знаний RAG в актуальном состоянии

TL;DR

• Свежесть RAG имеет три временных параметра: свежесть источника, свежесть индекса и свежесть ответа. Измеряйте их отдельно.
• Постройте манифест URL и сравните хэши нормализованного контента; повторно встраивайте только измененные страницы и сохраняйте карту страница-кусков для замены и удаления.
• Неудачный обход — это неизвестное состояние, а не доказательство того, что страница была удалена. Подтвердите 404, редиректы и изменения в карте сайта, прежде чем удалять индексированные записи.
• Nstdata Crawl в настоящее время документирует опрос задач, а не исходящие вебхуки, поэтому ваш планировщик или рабочий должны отвечать за проверки статуса и восстановление.

---

Введение: RAG устаревает, когда индекс перестает обновляться

Nstdata Crawl является слоем сбора в этом рабочем процессе; его обзор продукта описывает получение страниц и сайтов для последующих потоков данных.

Система RAG может запрашивать свою векторную базу данных по каждому запросу и при этом возвращать устаревшую информацию. Исходная страница могла измениться, но индекс мог не быть повторно оброшен. Или новые векторы могут существовать, в то время как кэш извлечения все еще содержит старые результаты. Таким образом, "свежесть" описывает больше, чем время ответа модели.

Этот гайд проектирует запланированный конвейер обновления для публичной документации и страниц знаний: инвентаризация → обход → проверка → сравнение → кусок/встраивание → обновление/удаление → проверка. Предполагается, что ваше приложение контролирует список разрешенных источников и векторную базу данных. Nstdata Crawl обрабатывает извлечение и возвращает результаты задач/страниц; оно не решает, устарел ли документ для вашего продукта. Смотрите документацию API Crawl для получения актуальных конечных точек задач и результатов.

Что на самом деле означает свежесть RAG