如何在Python中编写HTTP代理：实用指南

摘要

编写一个代理是学习 HTTP 路由的有用方式，但教程代理应保持绑定到本地并通过目标白名单进行限制。
以下示例在 Python 中实现了一个小型 HTTP 传递代理，支持 GET，拒绝 HTTPS CONNECT，移除逐跳头部，并应用上游超时。
生产环境代理还需要身份验证、访问控制、审计日志、资源限制、滥用处理、TLS 策略、监控，以及仔细的 DNS 和 URL 验证。
在允许任何公共目的地之前，先对代理进行本地服务器测试，切勿直接将监听端口暴露到互联网。
对于需要管理路由而非学习项目的授权自动化，Nstdata Residential Prime Proxies 支持文件化的 HTTP、HTTPS 和 SOCKS5 访问。

编写代理意味着什么？

编写代理意味着构建一个中介，它接收客户端请求，验证请求，打开与已批准目的地的连接，转发请求并返回响应。本指南专注于 HTTP 传递代理，而不是 JavaScript 的 Proxy 对象、反向代理、VPN 或匿名公共中继。

对于超出学习练习的授权应用路由，Nstdata Residential Prime Proxies 提供了一个管理产品路径；教程本身仍保持本地和提供者无关。

传递代理为客户端提供服务；反向代理则在一个或多个源服务器之前行使职能。这一区别很重要，因为安全边界、请求格式和部署控制不同。MDN 代理和隧道指南 解释了这两种角色，并描述了 HTTP 的 CONNECT 方法如何为 TLS 流量创建隧道。

本文中的学习实现具有明确的狭窄合约：

功能	包含	原因
绝对形式的 HTTP 请求	是	传递代理从客户端接收完整的目标 URL。
`GET` 请求	是	足以展示解析、验证、转发和中继。
目标白名单	是	防止教程服务器成为不受限制的中继。
上游超时	是	限制停滞的连接。
HTTPS `CONNECT`	否	隧道需要单独的授权、端口策略和双向中继逻辑。
缓存、身份验证和可观测性	否

<p类="描述">需要可靠的路由、轮换和协议支持时使用身份验证的代理端点，而无需维护开放的代理。 <a类="cta" href="" target="_blank" rel="noopener">探索Nstdata代理 </单元格> <单元格类="可视单元"> <div类="代理可视" aria-label="通过Nstdata连接的客户端图示"> <div类="模式胶囊"> 固定

from __future__ import annotations

import argparse
import socket
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
from urllib.parse import urlsplit

ALLOWED_HOSTS = {"127.0.0.1", "localhost", "example.com"}
HOP_BY_HOP = {
    "connection", "keep-alive", "proxy-authenticate",
    "proxy-authorization", "te", "trailer",
    "transfer-encoding", "upgrade",
}

class ForwardProxy(BaseHTTPRequestHandler):
    protocol_version = "HTTP/1.1"

    def do_GET(self) -> None:
        target = urlsplit(self.path)
        if target.scheme != "http" or not target.hostname:
            self.send_error(400, "使用绝对的http:// URL")
            return
        if target.hostname not in ALLOWED_HOSTS:
            self.send_error(403, "主机不在允许列表中")
            return

        port = target.port or 80
        path = target.path or "/"
        if target.query:
            path += "?" + target.query

        headers = [
            f"GET {path} HTTP/1.0",
            f"Host: {target.hostname}:{port}",
            "Connection: close",
        ]
        for key, value in self.headers.items():
            if key.lower() not in HOP_BY_HOP and key.lower() != "host":
                headers.append(f"{key}: {value}")

        try:
            with socket.create_connection((target.hostname, port), timeout=5) as upstream:
                upstream.sendall(("\r\n".join(headers) + "\r\n\r\n").encode("latin-1"))
                while chunk := upstream.recv(64 * 1024):
                    self.connection.sendall(chunk)
        except (OSError, TimeoutError) as exc:
            self.send_error(502, f"上游失败: {exc}")

    def do_CONNECT(self) -> None:
        self.send_error(501, "CONNECT隧道故意未实现")

def main() -> None:
    parser = argparse.ArgumentParser(description="有限的教育HTTP代理")
    parser.add_argument("--host", default="127.0.0.1")
    parser.add_argument("--port", type=int, default=8080)
    args = parser.parse_args()
    server = ThreadingHTTPServer((args.host, args.port), ForwardProxy)
    print(f"监听 http://{args.host}:{args.port}", flush=True)
    server.serve_forever()

if __name__ == "__main__":
    main()

如何在Python中编写代理：一个安全的HTTP教程

摘要

编写代理意味着什么？

热门文章

在Python中进行自动价格跟踪：完整指南

7个可靠的网络数据提取Octoparse替代方案

从学习代理迁移到管理代理基础设施

详细教程

方法1：在Python中构建有限的HTTP转发代理

步骤1：保存代理服务器

步骤 2：启动本地目标和代理

步骤 3：通过代理发送请求

步骤 4：测试失败边界

方法 2：在应用程序代码中使用管理的代理端点

教程未涵盖的生产要求

常见问题及解决方法

客户端直接连接

代理返回400

代理返回403

HTTPS返回501

结论：为学习构建，为操作购买

体验Nstdata—今天开始您的免费试用

常见问题