TL;DR
- Scrapy的内置
HttpProxyMiddleware读取Request.meta["proxy"]或标准代理环境变量;仅在选择策略或遥测时需要自定义中间件。 - 在内置中间件处理请求之前设置请求上的代理URL。每个请求的
meta["proxy"]会覆盖环境代理并忽略no_proxy。 - 仅在配置的、授权的代理路由中轮换,并为有状态的请求链保持稳定的路由。
- Scrapy的RetryMiddleware单独处理暂时错误与代理选择。不要盲目重试407身份验证失败。
- Nstdata提供生成的代理主机、端口、用户名、密码和会话参数;Scrapy不生成这些值。
设置Scrapy代理中间件前需要什么?
您需要一个Scrapy项目,一个允许的目标,以及您提供商的有效代理URL。对于Nstdata,创建一个频道,启用代理生成,选择产品和路由参数,并从频道详情复制生成的URL。将该URL保存在秘密存储中。Nstdata代理指南列出了网关主机、端口、频道ID、密码、国家、会话持续时间和会话ID。不要替换猜测的网关或在settings.py中硬编码实际的频道密码。
在虚拟环境中用python -m pip install scrapy安装Scrapy,然后用scrapy startproject proxy_demo创建一个项目。将下面的示例放入项目现有的设置和爬虫文件中。这些代码片段是经过文档支持的,但不是实时的Nstdata握手:本文中不可用频道凭据。
Scrapy如何为请求选择代理?
Scrapy通过请求的proxy元键或通过其内置的HttpProxyMiddleware处理的代理环境变量选择代理。Scrapy下载器中间件参考指出,每个请求的值优先于http_proxy和https_proxy,并忽略no_proxy。这种优先级可能会让那些运行时配置了公司代理的团队感到惊讶。
代理URL通常以http://开头,即使是指向HTTPS目标。该方案标识代理连接,而不是目标。Scrapy的内置下载处理程序并非全部支持SOCKS;当前文档将HttpxDownloadHandler列为支持SOCKS的处理程序,并指出H2DownloadHandler的限制。使用您的部署支持的协议和处理程序组合。
方法1:如何在请求上设置一个代理?
当作业有固定路线且没有选择逻辑时,在爬虫中设置一个代理。
第1步:从运行时加载URL
通过秘密管理器注入PROXY_URL。它应该包含生成的协议、主机、端口、用户名和密码。不要打印它。
第2步:将其附加到请求中
import os import scrapy class IpCheckSpider(scrapy.Spider): name = "ip_check" def start_requests(self): yield scrapy.Request( "https://api.ipapi.is/",
Nstdata的文档使用IP检查端点来检查出口。示例正文可能会透露位置,因此将其视为诊断数据,并在不需要时从生产日志中移除。
第3步:验证路由
在您的授权环境中运行scrapy crawl ip_check -O ip-check.json。检查观察到的出口IP和地区。确认请求使用了预期的频道,而没有暴露凭据。
方法2:如何配置项目范围内的代理?
项目范围内的环境代理在每个请求都应使用相同路由,没有每个请求例外时有效。
第1步:提供环境变量
通过作业的秘密注入将https_proxy和(如果需要)http_proxy设置为生成的代理URL。避免包含凭据的已提交.env文件。
第2步:保持内置中间件启用
Scrapy默认在其标准设置下启用HttpProxyMiddleware。不要替换DOWNLOADER_MIDDLEWARES_BASE;自定义条目应放入DOWNLOADER_MIDDLEWARES中。官方中间件参考文档记录了激活和排序模型。
第3步:检查每个请求的覆盖
带有meta["proxy"]的爬虫请求会覆盖环境路由。记录您作业配置中哪个策略是活跃的。如果一个作业混合了代理和直接请求,则显式的每个请求配置更易于审核。
方法3:如何在自定义中间件中轮换代理?
自定义下载器中间件可以从已生成的、经过批准的代理 URL 的有限列表中进行选择。它不应该创造提供商用户名或创建无限会话。
步骤 1:将批准的路线存储为密钥
在 PROXY_URLS_JSON 中注入一个 JSON 数组。每个元素应为允许路线的完整生成 URL。在生产环境中,优先使用秘密存储而非普通环境转储。
步骤 2:添加选择中间件
import itertools import json import os class ProxySelectionMiddleware: def __init__(self): routes = json.loads(os.environ["PROXY_URLS_JSON"]) if not
在 Scrapy 的内置代理中间件之前进行配置:
DOWNLOADER_MIDDLEWARES = { "proxy_demo.middlewares.ProxySelectionMiddleware": 543, } RETRY_TIMES = 2 ROBOTSTXT_OBEY = True CONCURRENT_REQUESTS_PER_DOMAIN = 2
该中间件选择一个路由,而 Scrapy 的内置处理程序执行代理连接。此代码是说明性的,需要一个实际项目、路由和授权目标才能执行。
步骤 3:保留状态会话并检查重试
对于必须保留相同出口的请求链,向后请求传递 meta={"proxy": existing_url, "keep_proxy": True}。单独确认提供商的粘性会话政策。Scrapy 的 RetryMiddleware 文档 列出了临时响应代码和有限的默认重试预算;重试可能会重新进入您的选择中间件。决定重试是否应保持或更改路由,然后使用受控固定装置测试该行为。绝不要使用轮换来忽视目标的访问政策。
为什么 Scrapy 代理会失败或意外轮换?
Scrapy 代理可能因为错误的网关凭据、中间件优先级、不支持的协议或目标响应而失败。代理 407 指向身份验证或通道状态。连接错误表明主机、端口、出口防火墙或协议不匹配。目标 403 或 429 会要求检查源政策和速率。带有挑战页面的 200 是内容失败,而不是成功提取。Nstdata 故障排除指南涵盖 407 和连接性。
如果轮换看起来意外,请记录每个请求的已编辑路由 ID 和会话 ID。检查 process_request 是否在重试时再次运行,后续请求是否丢失 keep_proxy,以及提供商的粘性持续时间是否过期。Scrapy 统计数据应区分尝试的请求、代理失败、目标错误和接受的项目。与源 URL 和抓取时间一起存储已接受的项目,以便 IP 更改不会掩盖重复的收集。
您应该使用哪个设置?
对于显式路由,使用每个请求的 meta["proxy"],对于统一作业使用环境变量,当您需要经过测试的选择政策时使用自定义中间件。从一个 IP 检查请求开始,然后是一个小型授权蜘蛛。将重试和内容验证与路由分配分开。
Nstdata 代理提供网络路由;Nstdata 代理管理器可以集中多个作业的池和诊断。如果您需要托管的网站发现和页面转换而不是自我托管的 Scrapy 管道,Nstdata 爬虫是一个单独的用于 LLM 准备数据的网络爬虫 API。
常见问题解答
问:我需要为一个代理定制中间件吗?
不需要。设置 Request.meta["proxy"] 或标准代理环境变量;Scrapy 的内置中间件处理路由。
问:meta["proxy"]是否会覆盖环境代理?
是的。Scrapy 文档中说明每个请求的代理优先级高于 no_proxy。
问:我应该重试 HTTP 407 吗? 不。将407视为身份验证或通道配置错误,直到原因得到纠正。
问:每个Scrapy下载处理程序都支持SOCKS5吗?
不。请检查当前处理程序文档;内置代理中间件的支持取决于下载处理程序。
问:代码可以在没有Nstdata凭据的情况下运行吗?
Scrapy语法可以在本地进行审查,但实时的Nstdata路由测试需要一个通道和生成的代理凭据。




