TL;DR
- Shopee大多数产品数据通过JavaScript动态加载，并运行分层的反机器人系统（其中包括Cloudflare和Akamai Bot Manager，根据第三方工具评估，其绕过难度分别为8/10和9/10），因此，没有JS渲染的基本HTTP请求通常返回一个空壳。
- 数据中心代理在Shopee上很快会被标记，住宅代理是实用的默认选择，代理的国家需要与您要针对的特定区域Shopee域名（如shopee.sg、shopee.ph、shopee.tw等）匹配，以避免地理限制。
- 根据Shopee的声明，其立场比某些平台更宽松：如果您尊重robots.txt，保持在速率限制内，并且不绕过登录或验证码，抓取公开可用的非个人识别产品数据被报导为允许—一旦您在登录状态下抓取，风险显著增加。
- 常被引用的安全阈值是每个IP每分钟请求少于30次，以避免大多数速率限制，15-20次请求每分钟则留有更多余地。
- 由于Shopee需要同时有国别匹配的住宅代理和JavaScript渲染，本指南使用Nstdata Crawl，它将代理支持的访问和JS渲染合并在一个API调用中，而不是要求单独的代理提供商和自管理的无头浏览器栈。
- Shopee的页面结构和CSS选择器会定期变化，因此将此处显示的任何特定选择器视为需调整的示例，而不是永久参考。
为什么Shopee需要不同于大多数网站的设置
Shopee结合了两个大多数通用抓取目标不堆叠在一起的挑战。首先，它的产品页面通过JavaScript动态加载数据，因此没有JS功能的普通HTTP请求通常返回一个主要是空白的页面，而不是您想要的产品详情。第二，它运行分层的反机器人系统—第三方抓取工具评估将其Cloudflare保护的绕过难度评为8/10，而其Akamai Bot Manager层评为9/10，此外还有针对自动化工具签名（如Selenium或Puppeteer检测）、画布和WebGL指纹识别及请求时间模式的行为检查。住宅代理解决了该问题的IP信誉部分；它单独并不能解决JavaScript渲染部分，这就是为什么本指南将两者视为一个组合设置，而不是两个单独的问题。
Shopee代理的常见使用案例
卖家和研究人员使用Shopee代理来追踪竞争对手的定价和库存水平，监控产品排名和评论随时间的变化，研究Shopee不同区域市场的类趋势，并验证促销或广告如何在特定国家呈现给购物者。这些都集中在公共产品和列表数据上，而不是个人买家或卖家信息，这也是本指南合规部分下视为较低风险起点的数据类别。
使用Shopee代理是否合法和合规？
根据第三方抓取工具评估，Shopee的声明比某些平台更宽松：抓取公开可用的非个人识别产品数据被描述为允许，只要您尊重Shopee的robots.txt文件，保持在合理的速率限制内，并且不绕过登录或验证码等访问控制。违反这些条件会面临IP封锁或账户暂停的风险，而一旦您在登录账户的状态下抓取，风险会显著增加，而不是访问公开的列表页面。Shopee并未为一般市场数据提供公共API——其“Shoepee开放平台”是为自己的注册卖家管理自身店铺数据而构建的，而不是为了第三方访问更广泛的目录——因此，基于代理的公共页面访问是大多数研究使用案例的实际选择。在进行任何实际量的抓取之前，始终检查Shopee的当前robots.txt和条款，因为具体规则和执行可能会改变。
方法：一步到位的代理支持JS渲染
一个可用的Shopee设置需要国别匹配的住宅代理和JavaScript渲染一起，而将这两者作为两种独立工具处理（一个代理订阅加上一个自管理的Playwright或Selenium栈）会增加真正的操作开销—维护浏览器二进制文件，保持无头检测的对策最新，以及将代理集成到该栈中。Nstdata Crawl将代理支持的访问和JavaScript渲染合并在一个单一的REST API调用中：您指定一个目标URL和一个国家，响应会以已渲染、清理过的内容返回，而无需自己运行或维护浏览器。本指南使用这种组合方法，而不是展示独立的代理加无头浏览器设置，因为它直接映射到Shopee的栈实际要求。
快速浏览
Shopee需要匹配国家的代理和JavaScript渲染才能返回真实的产品数据 — Nstdata Crawl在一次API调用中处理两者，而不是两个独立的工具。
