Как использовать прокси с Python Requests: пошаговое руководство

TL;DR

• Python Requests принимает сопоставление proxies с отдельными ключами http и https; схема URL прокси описывает соединение прокси, а не пункт назначения.
• Используйте Session с trust_env = False, когда вам нужно предотвратить изменение маршрута окружающими переменными среды прокси.
• Учетные данные прокси должны быть в URL прокси или конфигурации с поддержкой секрета, а не в requests.get(auth=...), который аутентифицирует к пункту назначения.
• Установите тайм-ауты на подключение и чтение, вызовите raise_for_status() и проверьте возвращаемый контент. Успешное соединение с прокси не является действительным скрейпингом.
• Сгенерированный URL прокси Nstdata предоставляет фактические параметры Host, Port, Username, Password и product; не угадывайте значения шлюза.

Что вам нужно перед тем, как использовать прокси с Python Requests?

Вам нужен Python, Requests, разрешенный тестовый URL и активная конфигурация прокси, содержащая Протокол, Хост, Порт, Имя пользователя и Пароль. Для Nstdata создайте Канал, активируйте Генерацию прокси, настройте его параметры и скопируйте сгенерированный URL прокси из официального рабочего процесса Канала. Руководство по прокси Nstdata документирует Канал имени пользователя шлюза, тип прокси, страну, продолжительность сессии и компоненты идентификатора сессии. Храните пароль в менеджере секретов и никогда не публикуйте полный URL прокси.

Установите Requests в виртуальной среде с помощью python -m pip install requests. Если ваш фактический прокси - SOCKS5, установите ; различает DNS на стороне клиента от DNS на стороне прокси. Выберите схему, которую документирует провайдер. Примеры ниже предполагают URL прокси HTTP, скопированный в с помощью инъекции секрета вашего времени выполнения. Их нельзя выполнять против Nstdata без ваших учетных данных, поэтому проверки вывода представлены в виде инструкций, а не вымышленных результатов.