爬虫 API 成功率基准测试（2026 测试）

TL;DR

• 本次评估中找到的最强大的2026年爬虫基准是Firecrawl自己的一千个URL数据集：96%的覆盖率，0.638的提取F1，0.639的内容召回率，以及3,387ms的P95延迟。
• 这些数字衡量了Firecrawl在已发布数据集上的爬取覆盖率和质量；它们并不是通用的爬虫API成功率，亦无同类所有供应商的对比结果。
• 在此评估中，没有找到其他API的可比第一方2026年成功率数据集，因此它们的行标记为“不可独立比较”，而不是填充估算。
• 买家应在目标域上复现测试并评分接受的字段，而不仅仅是HTTP完成或返回的Markdown。

结论和基准数据

明确的结论是，Firecrawl拥有最清晰的公开基准证据，而市场仍然缺乏单一的独立可重复爬虫API排行榜。Firecrawl报告了2026年1月13日使用来自十个公共网络类别的一千个URL的运行。其覆盖率的定义是工具是否检索到至少10%的预期核心页面文本，不包括导航、广告和页脚。

Firecrawl基准页面发布了数据集名称、日期、度量定义和范围。Firecrawl还表示，其设备尚未全面发布，因此输入数据集是可检查的，但完整运行未能完全可复现。

对于Nstdata选项，请查看Nstdata Crawl并在运行比较之前确认当前API表面。

方法论：有效的爬虫基准必须控制的内容

一个有效的爬虫API基准固定URL集、请求选项、超时策略、输出格式、并发性、重试预算和接受规则，然后再运行任何提供商。在没有这些控制的情况下，“成功率”可以意味着完成的HTTP请求、任何非空主体，或者实际包含所需字段的页面。

使用涉及文档、电子商务、新闻、金融、JavaScript重型页面、重定向、PDF和错误情况的公共授权URL的分层集。冻结URL列表并记录测试日期。首次使用默认设置运行每个供应商，然后单独发布标记调优的结果。

至少评分四个结果：

1. 传输成功： API在时间预算内返回了终端成功响应。
2. 内容覆盖： 结果包含预期的核心页面文本。
3. 提取质量： 所需字段与人工标注的参考相匹配。
4. 操作延迟： 报告中位数和P95，而不仅仅是平均值。

Firecrawl爬取内容数据集是用于可复现输入集的有用起始点，但生产买家应添加代表性的目标页面。定义接受和传输行为时，请也参考。