Node.js веб-скрапинг с прокси: Axios и Fetch

TL;DR

• Прокси-сервер Node.js для исходящего скрапинга отличается от объекта Proxy в JavaScript и от обратного прокси-сервера.
• Axios принимает HTTP-прокси через свою конфигурацию proxy в запросе; используйте явный тайм-аут и валидируйте возвращенный контент.
• Встроенный fetch() в Node работает на основе Undici, и маршрутизация прокси на уровне запроса может использовать ProxyAgent от Undici в качестве dispatcher.
• Храните один dispatcher или agent для сохранения идентичности, закрывайте его, когда работа завершена, и меняйте только на границах независимых задач.
• Прокси изменяет сетевой маршрут; он не предоставляет разрешение, не решает CAPTCHAs и не исправляет недействительный скрапер.

Какой “Node.js Proxy” Вы Имеете В Виду?

Для веб-скрапинга прокси Node.js — это исходный сетевой посредник, используемый HTTP-клиентом, таким как Axios или fetch. Это не метапрограммный объект Proxy, описанный MDN, и это не обратный прокси, который принимает трафик для вашего приложения. Эта статья сосредоточена только на исходящих запросах к публичным или авторизованным целям.

Nstdata предоставляет прокси-шлюзы, которые могут использоваться клиентами Node HTTP. Библиотека клиента определяет, как шлюз подключается, как читаются учетные данные и используются ли повторные соединения. Существующее руководство по прокси для Axios охватывает специфические для Axios схемы; это руководство напрямую сравнивает их с текущим поведением Node fetch.

Node документирует fetch как глобальный объект, совместимый с браузером, в документации по глобальному fetch в Node.js. Текущие рекомендации по сетевым технологиям для предприятий Node также описывают поддержку прокси-среды по выбору в недавних выпусках, но конфигурация, специфичная для библиотек, остается наиболее универсальной для всех поддерживаемых сред выполнения.