TL;DR
- 限制浏览器自动化的并发性,使用明确的运行时插槽和有界等待队列。
- 区分待处理、已分配、已接受和已结束。只有经过验证的终端清理会在生产环境中释放插槽。
- 将浏览器并发、页面并发和应用率限制视为独立的预算。
- 给每个被接收的工作设定一个截止日期、一个生命周期所有者,以及一个调和模糊创建或关闭的方法。
- 记录峰值活动插槽、作业接收、队列年龄和验证清理时间。
- 从一个小型试点开始,然后根据记录的账户容量和观察到的任务质量调整限制。
浏览器自动化并发实际上测量了什么?
浏览器自动化并发测量同时执行或持有工作的单位数量。一个工作者可以运行一个脚本,一个上下文可以持有多个页面,而一个提供者可以根据其生命周期计算活动浏览器会话。在设置工作者值之前,指定您要限制的单位。Nstdata 提供具有文档化会话生命周期的托管浏览器,因此可以使用实际分配给作业的资源跟踪作业的插槽。
一个典型的例子是在发布期间运行暂存目录检查。二十个作业进入队列,每个作业需要短暂的浏览器。如果所有作业同时启动,晚期清理或重试可能会显著改变活动会话的数量。目标是以可预测的清理速度测量接受测试的比率。浏览器自动化成本指南 引入了一个有用的分母,将运行时消耗与接受的工作相关联。
浏览器作业调度器应该强制哪些限制?
浏览器作业调度器应该对等待工作、活动提供者资源和对目标应用程序的操作施加独立的限制。从入场到结束验证定义租约。仅在一个作业有意拥有多个标签时设置单独的页面计数。Playwright 并行工作者文档 解释了如何配置本地工作者的并行性。Playwright 上下文隔离指南 解释了浏览器内的上下文如何隔离。
| 控制 | 限制内容 | 何时释放容量 |
|---|---|---|
| 队列大小和年龄 | 等待成为活动的工作 | 当其被接纳、延期或明确取消时 |
| 活动浏览器插槽 | 保留或分配给作业的托管运行时 | 当终端清理得到验证或分配被确认失败时 |
| 页面预算 | 在一个独立管理的作业中拥有的页面 | 当该作业的页面关闭时 |
| 应用行动率 | 针对授权目标的流量和副作用 | 根据应用程序发布的限制和工作流程政策 |
| 恢复预算 | 失败或模糊操作消耗的时间 | 在有界调和或明确所有权转移后 |
提供者限制、测试运行器工作者和站点容量都可能成为瓶颈。设计时考虑到最限制相关的条件。如果可靠目标提供了文档化的只读断言的独立API,请考虑将只读确认移动到那里。对于浏览器工作,不要仅仅因为可见的队列正在增加而增加插槽。
如何运行一个有界批处理并观察清理?
在启动作业之前保留一个逻辑插槽,并在该作业的清理得到验证后返回它。示例模型在两个工作者插槽上使用异步函数和合成结果运行五个小作业。它是一个可运行的在单个 Node.js 进程中进行入场和清理的模型。在评估账户容量之前,完全在本地 Node.js 进程中运行它。
步骤 1. 选择作业边界
给每个队列项一个 ID,一个批准的目标,一个特定的接受规则,以及最大队列和执行年龄。将早期拒绝与一个已经获取了浏览器并随后失败的作业分开。如果一个作业在会话可能被分配后超时,定义谁保留责任。





