Dun & Bradstreet Scraper и D&B API: Руководство по бизнес-данным
TL;DR
Веб-скрэпер D&B и официальный API D&B решают разные задачи. Скрэпер может извлекать разрешенный публичный контент страниц; лицензированный API может возвращать данные о компаниях с правами на продукт в структурированной форме.
D&B Direct+ использует учетные данные клиента OAuth 2.0. D&B заявляет, что клиенты получают ключ и секрет у представителя D&B; токены истекают через 24 часа.
Не выдумывайте конечную точку поиска компании и не предполагаете, что публичный API бесплатен. Конкретный продукт Direct+, поля, квоты и коммерческие условия зависят от соглашения и прав клиента.
Используйте публичные реестры для юрисдикций и полей, которые они охватывают. SEC EDGAR предоставляет данные о подачах публичных компаний в США; это не замена более обширным коммерческим данным D&B.
Сравнение скрапинга Dun & Bradstreet и API D&B: ключевые различия
“Скрэпер D&B” может относиться к скрипту, который читает публичные страницы, неофициальному стороннему извлекателю данных или авторизованной интеграции с API Dun & Bradstreet. Эти способы имеют разные охваты, разрешения и инженерные риски:
Подход
Объем данных
Структура и соответствие
Доступ и стоимость
Подходящее использование
Скрапинг публичной страницы D&B
Только контент, видимый на разрешенных страницах
HTML-парсинг, который вы поддерживаете; может не раскрывать все атрибуты компании
Ознакомьтесь с применимыми условиями, инструкциями для роботов и правами на данные; не предполагайте доступ к базе данных
Узкая задача на уровне разрешенной страницы
API D&B Direct+
Продукты данных, на использование которых ваша организация имеет право
Структурированный ответ для документированных продуктов и сопоставительных рабочих процессов
Требует учетных данных клиента и коммерческого права; проверьте контракт на предмет цен и ограничений
Идентификация компании, обогащение, поставщик или рисковые рабочие процессы, охваченные вашим соглашением
API публичного реестра компаний
Официальные подачи и поля реестра для конкретной юрисдикции
Структурированные официальные записи, часто с местными идентификаторами
Аутентификация, лимиты на скорость и условия повторного использования варьируются в зависимости от реестра
Исследование и проверка для определенной юрисдикции
Обход сайтов компаний
Публичный контент страниц с сайтов компаний
Вы определяете извлечение и нормализацию; нет авторитетного соответствия бизнес-идентичности
Доступ и использование зависят от правил каждого целевого сайта
Сбор публичного продукта, документации или контента с страниц компании, когда это разрешено
Успешная выборка страницы не означает, что вы воспроизвели коммерческий набор данных D&B. Веб-страницы могут не содержать лицензированных полей, отражать другой график обновления или представлять местный офис, а не глобальную корпоративную сущность. Nstdata Crawl имеет значение только для сбора разрешенного контента сайта, а не для записей API D&B.
Что такое Dun & Bradstreet и какие бизнес-данные она предоставляет?
Dun & Bradstreet является поставщиком коммерческих бизнес-данных. В зависимости от продукта и прав клиента данные D&B могут поддерживать идентификацию компании, бизнес-профили, обогащение продаж и маркетинга, рабочие процессы поставщиков и случаи использования, связанные с рисками. Конкретные поля и допустимые использования не являются универсальными: проверьте документацию по продукту и соглашение для вашей учетной записи.
Понимание номеров D-U-N-S
Номер D-U-N-S является идентификатором D&B, используемым для идентификации местоположения бизнеса в системе D&B. Это не налоговый номер и не номер государственной регистрации. Материнская компания, дочерняя компания и филиал могут рассматриваться как связанные, но отдельные сущности. Изучите ссылку D&B D-U-N-S для текущего определения и использования идентификатора.
Для разрешения сущностей не сопоставляйте только по имени. Сохраняйте имя, страну, адрес, источник и результат сопоставления. Где это позволяет бизнес-процесс, сравнивайте несколько атрибутов и перенаправляйте неоднозначные соответствия к человеку-ревьюеру.
Общие поля бизнес-данных D&B
Продукт D&B может раскрывать идентичность компании, адрес, классификацию отрасли, корпоративные связи, финансовые или рисковые атрибуты и другие детали профиля компании. Какие поля возвращаются, зависит от кода продукта, представления, рынка и контрактного права. Не кодируйте предположения из примера ответа в схему, используемую каждым клиентом.
Что такое API D&B и как он работает?
API продукты D&B предоставляют программный доступ к определённым бизнес-данным. Каталог документации D&B перечисляет функции продуктов, такие как поиск компаний, сопоставление, детали компании и данные о поставщиках, но доступные операции зависят от того, какой продукт API и права доступа имеет организация. Документация по аутентификации Direct+ описывает поток токенов; она не делает каждую конечную точку поиска компании общедоступной.
Обычная интеграция состоит из четырёх этапов:
Организация получает учетные данные и подтверждает доступ к продукту с D&B.
Приложение обменивает свой ключ и секрет на токен доступа.
Приложение вызывает конкретный ресурс, задокументированный для его продукта и рынка.
Приложение хранит возвращенные поля с источником, отметкой времени и контекстом прав доступа.
Требования к аутентификации и доступу к API D&B
D&B Direct+ использует поток клиентских учетных данных OAuth 2.0. D&B сообщает, что конечная точка токена — https://plus.dnb.com/v1/token, и токены истекают через 24 часа. Его документация предписывает клиентам обращаться к представителю D&B за ключом и секретом и защищать как учетные данные, так и токены доступа, как пароли. См. руководство по аутентификации D&B Direct+.
Не копируйте образцы значений учетных данных со страницы документации в код. Храните учетные данные своей учетной записи в менеджере секретов или переменных окружения. Получите правильную конечную точку продукта, параметры запроса и схему ответа из документации, доступной для вашей учетной записи.
Поиск и сопоставление бизнес-единиц
Сопоставление компаний по своей сути неоднозначно. "Acme Ltd" может относиться к нескольким юридическим лицам, а торговое наименование может отличаться от зарегистрированного наименования компании. Отправляйте сильнейшие поля, которые принимает ваше уполномоченное конечное устройство — это обычно имя и местоположение, а также, где это уместно, местный регистрационный идентификатор. Точные имена параметров зависят от продукта API.
Определите политику сопоставления перед обогащением записей:
Высокая уверенность: ключевые поля идентификации совпадают с возвращенной единицей.
Требуется обзор: имя совпадает, но страна, адрес или юридический суффикс отличаются.
Нет совпадения: API не возвращает подходящего кандидата или необходимые поля конфликтуют.
Храните решение по сопоставлению и входные значения, чтобы результат мог быть проверен позже.
Получение профилей компаний и бизнес-атрибутов
Запрос профиля компании должен быть построен на основе конечной точки и представления продукта, зафиксированных для вашей учетной записи. Не предполагаете, что "стандартное" представление содержит каждую точку данных, необходимую вашему бизнес-процессу. Проверьте, имеет ли дополнительная информация отдельные права доступа и взимается ли плата за использование за успешную транзакцию согласно вашему соглашению.
Записывайте уровень происхождения поля, где это важно: поставщик, продукт, время извлечения, идентификатор источника и любое поле обновления данных, возвращенное в ответе. Пропущенные значения должны оставаться пропущенными, а не выводиться из страницы, полученной с помощью сканирования.
Можете ли вы извлечь данные с веб-сайта Dun & Bradstreet?
Открытая страница профиля может отображать некоторую информацию о компании, но извлечение данных с этой страницы не эквивалентно доступу к полным коммерческим данным D&B. Страница может быть неполной, персонализированной, динамически отображаемой или подлежать условиям, которые ограничивают автоматический сбор или повторное использование.
Технические проблемы сбора данных на основе веб-сайта
Парсер страницы может сломаться, когда разметка изменяется. Он также может перепутать материнскую компанию с филиалом, пропустить поля, скрытые за взаимодействием, или собрать дублирующиеся профили для одной и той же единицы. Если страница динамическая, может потребоваться рендеринг браузера — но рендеринг лишь изменяет способ загрузки страницы; это не расширяет ваши права на использование контента.
Краулер подходит для сбора разрешенного контента страниц в масштабах в определённых пределах. Он не является службой сопоставления сущностей и не может возвращать поля, отсутствующие на страницах, которые он посещает.
Условия сайта, лицензирование и права на данные
Перед сбором или повторным использованием бизнес-данных изучите условия, которые применимы к сайту, вашему контракту с D&B и законам и требованиям конфиденциальности, относящимся к вашему использованию. В частности, убедитесь, разрешено ли хранение, обогащение, перераспределение и удержание данных. Спросите у D&B или вашей юридической/комплаенс-команды, если контракт неясен.
Не используйте автоматизацию для обхода ввода, платного доступа, CAPTCHA или технических ограничений доступа. Если ваша организация лицензировала доступ к API, используйте задокументированный API, а не пытайтесь восстановить набор данных с веб-страниц.
Учебник по API D&B: Практический рабочий процесс бизнес-данных
Приведённый ниже пример демонстрирует проверенный обмен токенами Direct+ и преднамеренно общий запрос ресурса. Он не изобретает путь поиска компании. Установите DNB_RESOURCE_URL и параметры запроса из документации конечной точки для продукта, доступного вашей организации.
Шаг 1: Подготовка входных данных для поиска компании
Нормализуйте входную запись перед тем, как сделать вызов. Полезная внутренняя структура может содержать:
Это пример на стороне приложения, а не схема запроса API D&B. Соответствуйте точным полям, которые принимает ваша лицензированная конечная точка.
Шаг 2: Вызов авторизованного API D&B
Установите учетные данные и URL конечной точки в вашем окружении. URL конечной точки должен быть из документации продукта вашей учетной записи:
exportDNB_CLIENT_KEY='установите это в вашем секретном менеджере'exportDNB_CLIENT_SECRET='установите это в вашем секретном менеджере'exportDNB_RESOURCE_URL='скопируйте разрешенный URL ресурса из ваших документов DnB'
Затем обменяйте учетные данные на токен доступа и вызовите настроенный ресурс:
Вызов call_entitled_resource() должен передавать имена и значения параметров из справки конечной точки, к которой у вас есть доступ. Некоторые продукты D&B могут использовать другой метод запроса или полезную нагрузку; адаптируйте пример к документированному контракту этого продукта. Не следует регистрировать токен или секреты.
Шаг 3: Парсинг и нормализация бизнес-данных
Отобразите ответ в собственную стабильную схему вместо передачи ответа поставщика через каждую последующую службу. Поскольку пути полей варьируются в зависимости от продукта, сделайте отображение явным:
Значения, передаваемые этой функции, должны быть извлечены с использованием фактических JSON-путей в вашем ответе. Нормализованный объект выше является предложенной внутренней формой, а не обещанием по исходным именам полей D&B.
Шаг 4: Сопоставление, дублирование и сохранение записей компании
Используйте номер D-U-N-S или другой авторизованный стабильный идентификатор поставщика в качестве кандидата на ключ, сохраняя при этом оригинальный идентификатор исходной записи. Избегайте объединения сущностей только потому, что их нормализованные имена совпадают. Сохраняйте поля уверенности в совпадении и доказательства, и сделайте обновления идемпотентными, чтобы повторный запуск партии не создавал дублирующие строки компании.
Цены на API D&B и общая стоимость владения
Нет единой публичной цены, которая могла бы быть применена ко всем продуктам и клиентам D&B API. Доступ, права на продукт, плата за использование, квоты и условия контракта варьируются. Некоторые документы API D&B описывают оплату по мере использования и требования к правам для конкретных продуктов, но эти условия не следует обобщать для Direct+, Direct 2.0 или других регионов. Спросите D&B о текущей цене и определении оплачиваемой транзакции для вашего продукта.
Полезная модель расхода:
ежемесячная общая сумма = платформа или контрактные сборы + оплачиваемые вызовы API + хранение данных + работа по интеграции и мониторингу
Для сканера включите обслуживание при изменениях страниц, допустимые скорости запросов, проверку качества данных и проверки лицензий. Сравните общую стоимость соответствующего рабочего процесса, а не только стоимость первого HTTP-запроса.
Альтернативы API D&B для сбора бизнес-данных
Публичные источники данных могут подходить, когда вам нужны официальные записи из конкретной юрисдикции. Они не обязательно содержат ту же корпоративную иерархию, сопоставление идентичности, индикаторы рисков или глобальное покрытие, что и коммерческий поставщик данных.
Публичные реестры компаний против коммерческих API данных
SEC EDGAR: SEC публикует JSON API для корпоративных подач и извлеченных данных XBRL. Это источник для подач публичных компаний США и сообщенных фактов, не являющийся глобальной базой данных частных компаний. Документация API SEC утверждает, что публичные API данных не требуют ключей API и обновляются по мере распространения подач.
Companies House: Регистрация Великобритании предоставляет REST API для информации о компаниях, которую она записывает. Доступ требует учетных данных API, а объем данных отражает британский реестр. См. руководство по началу работы с API Companies House.
Другие национальные регистры: каждый имеет свои собственные идентификаторы объектов, поля, доступность, частоту обновления, лимиты на запросы и условия повторного использования. Проверьте соответствующий государственный источник напрямую.
Коммерческие API бизнес-данных: выбирайте лицензированного провайдера, когда вам нужна информация о компаниях через границу или атрибуты, отсутствующие в публичных реестрах. Сравните объем охвата и права на контракт перед интеграцией.
Когда API для веб-сканирования полезны
API для сканирования может собирать разрешенный публичный контент с веб-сайтов компаний, например, страницу продукта, страницу документации или корпоративное объявление, и возвращать нормализованный контент страницы. Он не может заменить собственные записи компании D&B, сделать надежное соответствие D-U-N-S на основе произвольного HTML или предоставить доступ к закрытым страницам.
Проверка надежности поставщиков: определите сущность поставщика и извлеките только поля риска или связи, которые покрывает ваш контракт.
Улучшение CRM: сопоставьте запись компании, сохраните происхождение и пересмотрите неоднозначные совпадения перед записью изменений обратно.
Маркетинговые исследования: комбинируйте авторизованные коммерческие данные с публичными подачами и четко указывайте источник и охват каждого поля.
Исследование публичных компаний: используйте данные о подачах SEC для подач и сообщенных фактов; используйте лицензированного провайдера, когда задача требует дополнительных атрибутов компании.
Мониторинг веб-сайтов компаний: сканируйте разрешенные публичные страницы на изменения в содержании продукции или политики, в то время как эти данные остаются отдельными от авторитетных записей идентичности компании.
Как построить соответствующий бизнес-канал данных
Производственный канал должен учитывать разрешение и происхождение наряду с данными:
Подтвердите лицензию, право на продукт и разрешенную цель.
Получите данные через утвержденный API или публичный реестр.
Нормализуйте идентификаторы и страновые поля.
Сопоставьте сущности, используя несколько атрибутов, и сохраните статус уверенности или пересмотра.
Храните провайдера, запись источника, время извлечения и свежесть данных.
Применяйте правила хранения, исправления и удаления в соответствии с применимым соглашением.
Мониторьте квоты, затраты, коэффициенты совпадений, отсутствующие поля и ошибки API.
Этот дизайн помогает предотвратить превращение, казалось бы, удобного веб-сканирования в неотслеживаемый источник записей компании.
Заключительный вердикт: API D&B, веб-скрапинг или альтернативные источники данных?
Используйте API D&B, когда необходимые поля, рынки и права использования включены в соглашение D&B вашей организации. Используйте публичные реестры для официальных записей, специфичных для юрисдикции. Используйте сканер для разрешенного контента публичного веб-сайта, а не для воспроизведения лицензированной базы данных бизнесов. Прежде чем выбирать, проведите небольшой тестовый проект, который измеряет качество совпадений, объем полей, потребности в обновлении и общие эксплуатационные расходы.
Испытайте Nstdata — начните свой бесплатный пробный период сегодня
Для отдельной задачи, связанной с разрешенными публичными веб-сайтами компаний, оцените Nstdata Crawl. Записи API D&B и права на использование остаются под контролем вашего права на продукт D&B.
Да. D&B предлагает API-продукты, включая Direct+ и другие специфические для продукта API. Операции и поля зависят от продукта и прав, доступных вашей организации.
Q: Бесплатен ли API D&B?
Не предполагавайте, что это бесплатно. Условия доступа и использования зависят от продукта API, соглашения с клиентом и прав на использование. Попросите D&B о текущих ценах и правилах учета использования для вашей учетной записи.
В: Могу ли я извлекать данные из D&B?
Сценарий может технически разобрать страницу, которая общедоступна, но сканирование страниц не предоставляет полный лицензированный набор данных D&B. Проверьте применимые условия и не обходите вход, платные стены или другие ограничения доступа.
В: Что такое номер D-U-N-S?
Это идентификатор бизнеса D&B, связанный с местоположением бизнеса в системе D&B. Это не налоговый номер и не номер государственной регистрации.
В: Как мне получить данные о компании из D&B?
Подтвердите продукт и поля, которые вам нужны, получите авторизованные учетные данные и права на использование от D&B, используйте документированную аутентификацию продукта и конечную точку, затем нормализуйте и храните данные с метаданными источника и извлечения.
В: Каковы альтернативы API D&B?
Для публичных записей используйте официальный реестр компаний для соответствующей юрисдикции, такой как SEC EDGAR для подач документов публичных компаний США или Companies House для информации о компаниях Великобритании. Для коммерческого обогащения сравните лицензированных поставщиков по охвату, полям, цене и правам на использование.
Ivy Lin
Oct. 19th 2026
Попробуйте Nstproxy Crawl - Начните Бесплатно Уже Сегодня
Сканируйте целые сайты одним API-запросом
Преобразуйте любой сайт в Markdown, HTML, JSON, ссылки, PDF и другие форматы без управления инфраструктурой сканирования.
