TL;DR
- 要验证表单提交、搜索流程或人工接管等交互结果,使用 Cloud Browser,并为每次运行定义验收条件。
- 要从公开或已获授权的 URL 获取可验收的文档或证据,使用 Crawl API,并明确采集范围。
- 两种方式都可以涉及 JavaScript 渲染。先列出必须执行的页面操作和最终交付物,再选用相应接口。
- 文本入库可先用 Markdown,检查页面标记用 HTML,需要视觉证据时再保留截图或 PDF。
- 同时使用两种产品时,把交互任务和内容采集任务分开,通过经审核的 URL 和任务记录交接。
- 比较成本时,核算每次通过验收的交互或每份通过验收的文档,并计入失败、校验和恢复的开销。
Cloud Browser 和 Crawl API 有什么区别?
Cloud Browser 让应用控制正在运行的浏览器。Crawl API 接收页面 URL 或抓取任务,返回内容产物。使用托管浏览器时,应用代码负责打开目标页面、操作控件,并判断业务任务是否成功。使用 Crawl API 时,应用指定入口、采集边界、所需输出,并验证返回内容。Nstdata Cloud Browser 和 Nstdata Crawl 分别提供这两种接口。
假设文档团队要为公开发布说明建立索引,同时验证编辑能否在预发布 CMS 保存草稿。索引任务可以从公开入口开始,将通过内容校验的 Markdown 送入索引。CMS 测试需要获准使用的测试账号、明确的页面操作,以及系统确认接受修改的证据。即使底层都用到了 Chromium,这两项工作的验收规则依然不同。网页提取与网页爬取的区别说明了发现 URL 和提取已知页面各自负责什么。
不同任务应该选哪种产品?
需要在网页上持续交互并保留会话状态时,选择 Cloud Browser。需要按 URL 交付内容时,选择 Crawl。先写下接收方如何判定交付合格。如果需要提取回执编号、记录会话检查点或等待人工确认,就应显式管理浏览器会话。如果需要建立带来源 URL 和时间戳的文档索引,应优先控制采集范围、提取质量与重复运行的结果。
| 判断维度 | Nstdata Cloud Browser | Nstdata Crawl |
|---|---|---|
| 输入 | 浏览器配置、目标页面、获准执行的操作 | 入口或页面 URL、采集选项、输出格式 |
| 控制方式 | 通过 Live View 或受支持的客户端与页面交互 | 提交内容请求,并按文档设置渲染和采集范围 |
| 输出 | 由应用定义的断言结果、截图或其他任务产物 | 文档规定的页面格式及可用的存储引用 |
| 工作单元 | 一个有明确负责方的浏览器会话,加上一项业务任务 | 单页请求或限定范围的站点采集 |
| 故障检查 | 运行状态、连接、所选页面、页面结果和终止状态 | 任务状态、页面失败、完整性、数据结构和正文 |
| 扩展问题 | 浏览器并发、超时、应用状态和代理用量 | URL 范围、任务调度、单页质量和产物管理 |
两种产品都可以生成截图。采集有权访问的公开 URL 时,可以请求 Crawl 支持的截图输出。如果截图要证明某个获准操作完成后的页面状态,就让执行操作的浏览器直接截图。先明确截图需要证明什么,再指定保存方。Playwright 页面管理指南和 截图指南展示了开发者如何在会话中控制这两步。
Nstdata 的两种产品如何接入工作流?
Nstdata Cloud Browser 为浏览器自动化和 AI Agent 提供托管浏览器。Nstdata Crawl 是一款用于生成 LLM-ready data 的 Web Crawling API。浏览器会话提供交互环境。Crawl 可从入口发现符合条件的页面,在指定范围内递归跟随获准采集的链接,需要时渲染 JavaScript,并把文档规定的产物交给下游应用。内容筛选和质量验收由应用负责。Nstdata Crawl 官方文档
- 有状态的操作。 自动化脚本可通过 CDP 连接 Cloud Browser,操作人员可使用 Live View。脚本需要明确选择目标页面,并检查业务结果。
- 站点发现和渲染。 Crawl 支持站点发现与递归采集。使用当前 API 文档规定的字段,限制获准采集的主机、路径、深度和页数。如果初始 HTML 缺少必要内容,再请求渲染。
- 六种输出格式。 可选 Markdown、HTML、Raw Data、Links、Screenshot 和 PDF。较大的结果可以通过存储引用交付。按下游需要选格式,并制定额外产物的保存期限。
- 内置代理。 两项服务均支持内置代理路由。按文档使用内置配置时,无需另外设置代理网关。应用权限和目标访问许可仍需核实。
怎样把两种产品接到同一条 AI 数据流水线?
使用合规 URL 和任务记录交接,把会话凭据留在交互任务的执行进程中。为浏览器与爬虫定义不同的输入、职责和完成条件,并分别记录结果。
第 1 步:确定获准交接的公开内容
在已获授权的预发布 CMS 中使用测试账号走一遍流程。先定义合法的交接产物,例如一份已公开发布说明的生产 URL。需要改变应用状态的操作应走获准的操作路径。交接记录只保留已校验的 URL、部署 ID,以及确有必要时使用的内容版本。
第 2 步:在入队前校验 URL
要求目标使用 HTTPS,且属于已知的公开文档站点。按站点的规范 URL 规则做归一化,并在入队前检查路径前缀。私有后台地址、带签名的下载或含账号标记的 URL 需要另行获准的入库流程。集成代码也应检查重定向目标和站点发现的边界。
第 3 步:提交小范围 Crawl 请求
选择一个内容已知的公开页面,先请求 Markdown。做站点采集时,可以从一条获准的文档路径和少量 URL 开始。根据当前 Crawl API 参考文档设置参数并检查任务状态。保存任务 ID,确保中断后还能继续追踪。当内容通过引用交付时,先解析存储引用。样本通过验收后,再扩大采集范围。
第 4 步:执行下游验收规则
校验规范来源、语言、文档类型和预期标题,检查正文是否足以供下游使用。保存版本或哈希用于去重,并保留可引用的源 URL。单独保存抓取任务状态和内容验收结论。一次成功完成的抓取仍可能返回不符合索引规则的数据。
下面的 Node.js 示例独立运行,用于验证应用归一化后的入库记录。获取行内内容或解析存储引用后,先把真实的 Crawl 返回值映射到应用中定义的结构。示例自带合成记录,使用保留的 Example Domain。执行 node accept-document.mjs。
import assert from 'node:assert/strict'; import { createHash } from 'node:crypto'; const record = { canonicalUrl: 'https://example.com/docs/releases/42', markdown: '# Release 42\n\nThe staging release changes the approved report filter.', finished: true, }; const url = new URL(record.canonicalUrl); assert.equal(url.origin, 'https://example.com'); assert(url.pathname.startsWith('/docs/releases/')); assert(!url.search && !url.hash); assert(record.finished && /^# Release \d+\b/m.test(record.markdown)); assert(record.markdown.length >= 40); const contentHash = createHash('sha256').update(record.markdown).digest('hex'); console.log(JSON.stringify({ accepted: true, source: url.href, contentHash }));
第 5 步:用对应任务 ID 排查失败
交互失败时查浏览器会话 ID,内容获取或产物失败时查 Crawl 任务 ID。让采集进程可以单独重试只读步骤,从而避免重复执行已经改变应用状态的操作。工作流结束后关闭浏览器,并核实会话确已终止。Cloud Browser 会话生命周期指南
怎样衡量哪种方式更适合自己的场景?
衡量下游接受的产物,并记录生成合格产物所投入的资源。测试文档索引时,可以统计验收通过的文档、重复项、解析失败、丢失的引用产物和内容新鲜度。测试浏览器时,可以统计获得合格结果的任务、选错页面的次数、运行时长和等待人工处理的时间。试点至少应包含一个能稳定复现的问题。
文本入库可以先拿生成的 Markdown 对照少量人工审核过的页面,确认代码示例、产品标题和重要链接在提取后仍然完整。构建检索系统时,把采集、归一化和索引分开,收集未通过验收的内容供复核。这样可以让下游使用经过筛选的证据,同时把业务判断留给应用。参见 LLM-ready data 的含义及 Playwright 对用户可见结果进行断言的建议。
第一个版本应该先交付什么?
先交付一个边界明确、能用具体规则验收的工作流。公开文档流水线可以从 URL 到正文的采集开始,并抽检有代表性的文档。交互式 QA 可以从一次获准的浏览器测试和一个稳定检查点开始。等交接数据的结构明确、两侧又各自可验收时,再把两条执行路径串起来。
FAQ
Q: JavaScript 较多的站点需要启动 Cloud Browser 吗?
根据交付物判断。需要获取公开内容时,可以使用有文档支持的 Crawl 渲染配置。需要持续操纵页面或由人工接手时,使用托管浏览器会话。
Q: 给检索流水线用哪种格式?
以文本入库为主时,先选 Markdown,并审核有代表性的页面。需要验证标记结构时用 HTML,需要视觉证据时再保存截图或 PDF。
Q: 抓取完成后能直接入索引吗?
先检查来源、相关性、完整性和重复项。若结果通过存储引用交付,应先获取对应产物再评估质量。
Q: 两种产品共享凭据或同一个运行中的浏览器会话吗?
分别按各自的 API 文档完成认证。在应用层交接获准的 URL 或任务引用。
Q: 两种方式的成本怎样比较?
分别计算每次合格交互的浏览器资源用量和每份合格文档的 Crawl 用量。比较时计入校验、被拒绝的产物和故障恢复。





