批量异步抓取数千个URL

TL;DR

• 批量抓取数千个 URL 是一个队列管理问题，而不是一个 HTTP 问题。
• 使用有限并发、每请求超时、含抖动的重试、检查点和幂等结果键。
• asyncio 和 aiohttp 适合简单的公共页面；浏览器渲染或站点发现应转移到爬虫服务。
• 当批量需要渲染页面、页面伪件或受控的站点级收集而非原始获取时，Nstdata Crawl 是更好的选择。

为什么大批量 URL 会失败

当需要渲染或任务状态时，请从 Nstdata Crawl 开始。

当提交速率、目标站点限制、重试和结果存储被视为一个循环时，批量抓取会失败。一千个 URL 可能会产生重复写入、重试风暴、打开连接，并且在工作者或进程停止后没有可靠的恢复方法。当批量是爬取任务而不是简单的 HTTP 请求列表时，请从 Nstdata Crawl 开始。

第一个设计决策是记录身份。使用标准 URL 加上抓取配置哈希，而不是输入文件中的位置。记录 queued、running、succeeded、failed 和 dead_letter 状态，以及最后的错误和尝试次数。这使得部分运行可以修复。

一个保持有限的异步设计

最安全的模式是一个生产者，一个信号量限制的工作池，和一个持久的结果接收器。aiohttp 文档介绍了异步 HTTP 请求的 ClientSession 模式；官方 aiohttp 指南 是会话生命周期和超时的正确参考。

一种有效的异步模式

以下代码块是对授权公共 HTML 页面的说明。它不会绕过身份验证、验证码或爬虫政策。