TL;DR
- 尽可能使用授权的 JSON 端点；它通常比渲染浏览器更稳定且更便宜。
- Playwright 是本指南中的主要 Python 方法，因为它的定位器、上下文和网络控制适合现代客户端渲染页面。
- Selenium 在拥有成熟 WebDriver 堆栈的组织中仍然有用。
- Scrapy 加上 scrapy-playwright 适合需要渲染的特定请求的排队爬取。
- 当浏览器操作、重试和工件应该由服务责任承担时，托管渲染 API 是合适的。
为什么 JavaScript 渲染的页面在 Python 中返回空内容？
JavaScript 渲染的页面返回空或部分内容，因为 requests 和类似客户端下载初始响应但不执行应用程序。Nstdata Crawl 可以提供托管渲染路径，而 Playwright、Selenium 和 scrapy-playwright 允许 Python 控制浏览器。第一步诊断是比较查看源代码、渲染的 DOM 以及 Fetch/XHR 响应。
JavaScript 渲染文章 解释了为什么导航成功与内容准备情况不同。一个骨架页面可以返回状态 200，而数据请求稍后失败。
在抓取渲染页面之前需要什么？
您需要许可、精确的模式、小目标语料库、明确的时间和页面预算，以及一个或多个有意义的准备信号。在隔离环境中安装所选工具。
python -m pip install playwright selenium scrapy scrapy-playwright beautifulsoup4 python -m playwright install
