10种最佳方法将网络爬虫部署到生产工作流中

TL;DR

• 部署一个爬虫的最佳方式取决于作业持续时间、状态性、频率、规模以及谁来处理故障——而不是平台是否能够运行 Python。
• 对于一个小而稳定的作业，一个主机上的 Cron 通常就足够了；当重试、隔离和横向扩展变得重要时，容器和队列工作者就变得有价值。
• 无服务器函数适合短暂的无状态任务，而浏览器密集型或长时间运行的爬虫通常更适合容器或管理工作者。
• 生产部署需要幂等写入、检查点、访问控制、可观察性和有限重试，然后才能需要一个复杂的调度器。
• 将代理和浏览器渲染视为获取组件；它们都不能修复错误选择器、坏架构或缺少收集数据的权利。

对于爬虫来说，“生产部署”应该什么意思？

部署一个网络爬虫意味着使收集作业可重复、可观察、可恢复，并适当地受到限制。一个在笔记本上运行一次的脚本在生产中可能会失败，因为调度程序重叠运行、缺少浏览器二进制文件、目标发生变化、凭据过期或重试导致记录重复。部署选择应该使这些失败模式明确。

这个列表对 部署模式 进行了排名，而不是十个可互换的供应商。每周抓取 50 个公共页面的最佳模式并不是数千个排队浏览器作业的最佳模式。在比较平台之前，定义作业持续时间、每次运行的预期页面数、页面状态是否必须持久化、输出目标、可接受的延迟以及接收警报的操作员。 多个页面的 Python 抓取指南 涵盖了收集循环；当该循环必须在重启和网站变化中生存时，部署就开始了。

在授权工作流中进行页面获取时，Nstdata Crawl 可以在下面几种模式中作为服务进行评估。它不是调度、存储、验证或事件响应的替代品。

1. 在虚拟机上使用Cron

在虚拟机上使用Cron是小型可预测爬虫的最简单合理的生产选择。将依赖项打包到虚拟环境中，在非特权用户下运行，记录stdout和stderr，并使用锁机制防止重叠运行。使用持久数据库或对象存储作为唯一的输出副本，而不是本地CSV。

隐藏的风险是主机：打补丁、磁盘耗尽、进程崩溃和遗漏的运行都是你的责任。Cron也没有每个URL重试或部分检查点的本地概念。当作业能够在下一个调度之前顺利完成，并且单机器故障是可以容忍的时，选择它。 记录了调度行为，但操作保障是应用设计。