什么是网络数据基础设施？AI团队指南

TL;DR

• 网络数据基础设施是一个系统，用于发现、检索、转换、验证、存储和刷新特定产品使用的外部网络内容。
• 成功的HTTP请求只是一次获取事件；一个AI产品需要源身份、内容质量、来源和删除处理。
• RAG检索和模型训练有不同的新鲜度、许可、保留和修正要求。
• Nstdata Crawl可以提供有限的网站发现、递归爬取、JavaScript渲染和页面输出；应用团队仍然负责架构、治理和下游评估。
• 测量接受的记录和有用的答案，而不仅仅是获取的URLs。

什么是网络数据基础设施？

网络数据基础设施是从源URL到可用的、受管控的数据资产的可重复路径。对AI团队来说，这条路径通常包括源选择、权限审核、URL发现、抓取、必要时的浏览器渲染、内容转换、规范化、质量检查、存储和刷新。它还包括让工程师能够解释记录为何存在并在之后替换或删除的操作控制。Nstdata Crawl产品是这里讨论的获取和转换步骤的托管选项。

一个下载HTML的脚本是该基础设施的一个组成部分，但它不能回答页面是否是预期的页面，价格是否来自所选的产品变体，或者索引段落是否仍然是最新的。这一区别对RAG系统而言很重要：检索器可能会忠实返回一个过时或格式不正确的部分，而模型随后可能产生看似引证良好但实际上错误的答案。Azure RAG设计指南将摄取、索引、检索和评估视为应用程序的不同部分。

对于一个具体的下游示例，RAG知识库实现跟踪源页面进入检索。

AI团队实际需要哪些层？

AI网络数据堆栈有六个实际层。保持它们之间的合同明确，以便在失败时可以孤立而非盲目重试。

对于每条记录，至少存储source_url、final_url、、、、、和接受或拒绝的理由。RAG文档还应携带块ID和指向源范围的指针。训练数据集可能需要额外的许可、同意、来源和过滤记录。单独的URL并不是持久的身份：重定向、规范标签、区域路径和版本文档都可能改变它所指代的内容。