TL;DR
- 构建一个围绕接受的、源支持的文档的AI网页数据管道，而不是已完成HTTP请求的数量。
- 将发现、获取、转换、验证、存储、索引和刷新分开，以便每个阶段可以独立重试。
- 从每个模板的一个代表页面开始，然后扩展一个有限的URL清单。
- Nstdata Crawl可以通过Crawl API处理网站发现、递归爬取、JavaScript渲染、代理路由和多种输出格式。
- 跟踪内容哈希和索引版本，以便可以传播更正和删除。
AI产品的网页数据管道产生什么？
一个有用的管道产生一个版本化文档或结构化记录，产品可以追溯到源。对于RAG，输出可能是分成块的Markdown，带有源URLs和标题路径。对于提取功能，它可能是一个带有每个字段证据的typed JSON对象。该管道还应该产生失败记录：超时、被阻止的页面或被拒绝的文档是需要调查的结果，而不是默默消失URL的理由。Nstdata Crawl产品 是此处讨论的获取和转换步骤的托管选项。
工作在获取之前开始。确认允许的源、目标页面类型、更新预期和AI产品必须回答的问题。经过产品文档培训的支持代理需要不同的刷新策略，而不是价格监控功能。Databricks RAG管道指南 将文档准备与索引和服务分开；在自己的设计中保持这些边界可见。
website-to-RAG 任务 给出了一个聚焦于检索消费的例子。
开始之前需要准备什么？
准备一个批准的源列表；一个静态页面、一个动态页面和一个错误案例；一个Nstdata账户和服务器端Crawl API密钥（如果使用托管获取）；以及一个用于存储已接受记录和作业结果的地方。定义一个稳定的键，例如source_id + canonical_url + extractor_version。内容哈希检测更改，但不能替代URL身份：两个页面可以包含相同的模板，同时代表不同的产品。
对于Nstdata Crawl，文档化请求使用x-api-key、Content-Type: application/json、url和formats。站点发现还需要明确的maxDepth、maxPages、includeUrls和excludeUrls。标准托管作业使用内置代理路由，因此不需要单独的主机、端口、用户名、密码或协议配置。在扩展之前检查当前账户限制和源访问规则。
如何构建第一个工作管道？
方法 1：使用已知URL原型
当应用程序已知要检索的页面时，使用此路径。
第一步：定义接受标准
记录一个审批页面的预期标题、两个独特短语、所需链接和源URL。决定缺失的哪一项将拒绝文档。
