一个平台，三个产品：Nstdata 方法

TL;DR

• Nstdata的三个基础网络数据产品是Proxy、Crawl和Proxy Manager；更广泛的平台还包括Cloud Browser。
• Nstdata Crawl是一个Web爬虫API，提供适合LLM使用的数据，具有站点发现、有限递归爬取、JavaScript渲染、多种输出和内置代理编排功能。
• Nstdata Proxy在应用程序控制其自身请求时提供直接网络访问；Proxy Manager为代理工作流添加池、路由、日志和监控功能。
• 在网站到内容的工作中使用Crawl，在自定义客户端中使用Proxy，并在需要共享控制的路由级操作中使用Proxy Manager。
• 统一的供应商并不会消除应用级验证、源策略或数据存储。

什么是“一个平台，三个产品”？

“一个平台，三个产品”描述了一种实用的Nstdata网络数据架构：Proxy提供网络访问，Crawl获取并转换站点内容，Proxy Manager组织路由和代理操作。这是一种理解三个基础层的方式，而不是Nstdata仅出售三种产品的声明。公共平台还提供用于浏览器导向自动化的Cloud Browser。

Nstdata平台将这些产品与Cloud Browser一起呈现。这些产品解决相关但不同的工程问题。拥有现有抓取工具的团队可能只需要直接的代理连接。RAG团队可能需要一个管理的爬取和页面输出。管理多个代理工作流的操作团队可能需要池、路由规则和可观察性。购买所有三个产品并不是使用其中任何一款的前提条件。

Nstdata Crawl对AI工作流程有什么帮助？

Nstdata Crawl是一个Web爬虫API，用于LLM准备的数据，将批准的页面或有限的站点转换为可用的页面工件。它可以从种子发现页面，在maxDepth和maxPages限制下递归跟随链接，在需要时渲染JavaScript，并根据请求返回Markdown、HTML/原始内容、链接、PDF或截图。Crawl产品页面和API文档描述了这些功能。

Crawl在内部协调代理以进行标准作业。您在使用Crawl API之前不需要输入单独的代理主机、端口、用户名、密码和协议。这减少了设置并使爬取请求成为主要集成点。这并不意味着免费使用代理、保证访问或自动纠正业务字段。一个页面可能成功渲染，但仍可能包含重复的导航、挑战或模糊的产品变体。

对于RAG，存储源URL、最终URL、获取时间、内容哈希和接受的Markdown与每个文档一起。对于结构化提取，验证字段值与页面的匹配。对于审计或故障排除，保留一个HTML或截图工件，遵循明确的保留政策。RAG知识库文章涵盖了获取后的下一个阶段。

开发者何时应该使用Nstdata Proxy？

当开发者的应用程序已经拥有HTTP客户端、浏览器、解析器和爬取调度器，但需要一个代理网络以允许的请求时，应该使用Nstdata Proxy。应用程序在其自己的客户端中配置协议和端点凭据。这提供了细粒度的请求控制，并保持现有代码中的应用特定提取。

这种自由伴随着工作：发现URL、控制并发、选择重试行为、处理渲染（如有必要）、解析输出和监控失败。代理是一个传输组件；它并不将一个网站转换为一组文档。如果任务是将一个批准的文档网站收集为Markdown，则Crawl提供了更短的路径。如果自定义客户端需要精确的请求头或特定域的解析器，直接Proxy可能更合适。

Proxy Manager何时添加价值？

当几个使用代理的工作流需要一个共享的地方来定义池和路线并检查流量行为时，Proxy Manager增加了价值。它的文档描述了路由器、池、路由、日志和监控概念。团队可以使用它使路由决策可见，而不是将代理配置分散到各个服务中。