TL;DR
- 从1,000页到1亿页的变化涉及调度、存储、质量控制和源治理，而不仅仅是更大的并发设置。
- 保持一个耐用的URL边界，配备规范化、每主机预算、重试状态和检查点；一个进程本地列表无法恢复长时间的爬取。
- 将页面获取与解析、验证和索引分开，以便一个缓慢的下游阶段施加回压，而不是丢失数据。
- 按每美元和每小时衡量接受的记录，以及按域的更新鲜度和错误率；原始请求计数掩盖了数据质量差的问题。
- Nstdata爬虫可以处理已批准的网站发现、递归爬取、JavaScript渲染和代理路由。一个1亿页的项目仍然需要外部调度器、存储、治理和容量规划。
当网页爬虫从1K增长到100M页面时会发生什么变化？
主要变化是故障成为正常操作事件。对于1,000页，开发人员可以重试脚本并检查其输出。对于1亿页，主机更改标记，URLs重复，工作者重启，某些任务未完成，记录必须在之后进行修正或删除。系统必须使每个页面的状态可观察和可恢复。Nstdata爬虫产品是为这里讨论的获取和转换步骤提供的托管选项。
将1亿视为规划规模，而不是任何单个API或工作的声称配额。即使在持续每秒100个接受页面的情况下，1亿个接受页面大约也需要11.6天的时间才能被重新爬取、暂停和被拒绝的页面。其算式为pages / accepted_pages_per_second / 86,400。容量必须根据实际网站组合和提供者当前的限制进行建模。
自动化收集指南涵盖了从脚本到重复作业的过渡。
在增加并发之前应构建什么？
构建一个耐用的边界和一个稳定的记录合同。该边界存储每个规范化的URL、源、发现的父项、优先级、最早有效获取时间、尝试次数、状态和最后错误。唯一的键应防止相同的URL重复入队。仅规范您可以辩护的内容：去除片段通常对普通HTML导航安全，而合并查询参数可能会删除不同的产品或搜索页面。
在扩展获取层之前定义输出记录。一个最小的接受页面记录包含source_url、canonical_url、fetched_at、status_code、content_hash、parser_version、content和quality_status。将原始获取的工件与派生文本分开存储，以便解析器修复不需要重新获取每个源。保持从每个派生记录到原始工件及该源的政策决策的链接。
机器人排除协议应包含在源特定调度器中，连同合同和速率限制。
如何分阶段扩展爬取？
使用四个阶段，每个阶段都有可测量的退出标准。
方法1：验证1K页试点
最佳适用： 在添加基础设施之前证明提取质量和源权限。
在域、模板、语言和JavaScript行为之间选择一个分层样本。确认每个源均已批准用于预期用途。
