TL;DR
- JavaScript 渲染应该是一个升级途径，而不是每个 URL 的默认选项；首先获取静态 HTML 或授权的 API。
- 可扩展的渲染器将浏览器接受、导航、准备检查、提取、工件存储和可观察性分隔为有限阶段。
networkidle不是一个普遍的完成信号。在接受结果之前，验证页面特定的内容、状态和架构。- 浏览器重用节省启动成本，但上下文隔离、内存回收、请求预算和崩溃控制比原始并发更重要。
- 按接受页面的成本进行测量，而不是按浏览器启动的成本，因为重试、挑战页面和不完整的 DOM 会造成昂贵的错误成功。
为什么 JavaScript 页面难以可靠地抓取
JavaScript 渲染的页面很难，因为初始 HTML 响应可能只是一个外壳。React、Vue、Angular 和自定义应用程序可以在导航后加载数据，分多次更新 DOM，延迟组件直至滚动，并无限期保持分析连接打开。因此，一个普通的 HTTP 客户端可能在浏览器中收到状态 200 的同时，无法看到产品卡片、文章文本或表格。
Nstdata Crawl 与需要管理的浏览器渲染和页面工件的授权工作流相关，而不仅仅是代理路由。架构仍然需要明确的范围、准备标准、验证和停止条件；没有任何渲染器使无限制或未经授权的抓取变得可接受。
JavaScript 网络抓取指南 涵盖基本技术。在规模上，更难的问题是决定哪些页面真正需要浏览器，并防止慢或损坏的页面消耗整个队伍。
在启动浏览器之前检测渲染
最便宜的浏览器任务是从未启动的任务。从一个静态请求开始，并将响应与数据契约进行比较。
有用的信号包括：
- 预期的记录在 HTML 中缺失，但在浏览器执行后出现；
- 文档包含一个最小的根节点和大型脚本包；
- 应用状态嵌入在 JSON 脚本标签中；
- 一个公开的、文档化的 API 在可接受的条件下返回所需数据；
- 页面通过 XHR 或 fetch 加载内容，导航后；
- 对某些模板的提取在静态下成功，但对其他模板不成功。
不要仅通过框架名称来分类网站。服务器端渲染和水合可以在 React 存在的情况下暴露完整的 HTML。相反，传统页面可能会推迟一个关键表格。按模板或 URL 模式存储决定，并定期重新评估。
动态抓取工具概述 有助于比较静态客户端、浏览器自动化和管理渲染。