如何自动保持您的RAG知识库最新

TL;DR

• RAG 新鲜度有三个时钟：源新鲜度、索引新鲜度和答案新鲜度。分别测量它们。
• 构建 URL 清单并比较规范化内容的哈希值；仅重新嵌入更改过的页面，并保持页面与块的映射以进行替换和删除。
• 失败的爬取是未知状态，并不能证明页面已被移除。在删除索引记录之前，请确认 404、重定向和站点地图的更改。
• Nstdata Crawl 当前文档记录任务轮询，而不是外发 Webhook，因此您的调度程序或工作线程必须负责状态检查和恢复。

---

引言：当索引停止移动时，RAG 会变得陈旧

Nstdata Crawl 是此工作流中的收集层；其 产品概述 描述了下游数据管道的页面和网站检索。

RAG 系统可能在每次请求时查询其向量数据库，但仍然返回旧信息。源页面可能已经更改，但索引可能尚未重新爬取。或者新的向量可能存在，而检索缓存仍然包含旧结果。因此，“新鲜”不仅仅描述模型的回答时间。

本指南设计了一个公共文档和知识页面的定时更新管道：库存 → 爬取 → 验证 → 比较 → 块/嵌入 → 插入/删除 → 验证。它假定您的应用程序控制源白名单和向量数据库。Nstdata Crawl 处理检索并返回任务/页面结果；它不决定文档是否对您的产品过时。有关当前任务和结果端点的更多信息，请参见 Crawl API 文档。

RAG 新鲜度实际上意味着什么

爬取时间戳并不证明页面已被更新，而索引时间戳也不证明检索到了最新的源。保留您的系统实际上可以观察到的时间戳；如果网站未暴露 source_updated_at，则不要编造它。

自动更新知识库的架构

生产作业有一个调度程序，一个持久化的任务记录，一个爬取工作线程，一个标准化器，一个内容哈希比较，一个嵌入阶段，一个向量存储写入器和一个验证检查。每一步都需要一个幂等性密钥和一个可见结果。一个运行在工作线程崩溃后应安全重复。

对于任何页面，至少存储 canonical_url、last_attempt_at、last_success_at、content_hash、version、 和当前块 ID。如果可审计性很重要，请单独保留历史爬取文档。清单是控制平面，告诉管道哪些记录需要替换。