Nstproxy 现已升级为 Nstdata。了解此次变化。 周一至周五 09:00 - 18:00(UTC+08:00) 公司地址
19H MAXGRAND PLAZA NO.3 TAI YAU STREET SAN PO KONG, KOWLOON HONG KONG
©2026 NST LABS TECH LTD. 保留所有权利。 D&B Scraper 和 API:邓白氏商业数据Lena ZhouGrowth & Integration Specialist
邓白氏抓取器和D&B API:商业数据指南
TL;DR
- D&B 网页爬虫和官方 D&B API 解决不同的问题。 网页爬虫可以提取允许的公共页面内容;许可的 API 可以以结构化形式返回有产品使用权的公司数据。
- D&B Direct+ 使用 OAuth 2.0 客户凭证。 D&B 表示客户需要从 D&B 代表处获取密钥和机密;令牌在 24 小时后过期。
- 不要创建公司搜索端点或假设公共 API 是免费的。 精确的 Direct+ 产品、字段、配额和商业条款取决于客户的协议和使用权。
- 使用公共注册机构提供的管辖范围和字段。 SEC EDGAR 提供美国公共公司备案数据;这不能替代 D&B 更广泛的商业数据。
Dun & Bradstreet 爬虫与 D&B API:主要区别
“D&B 爬虫”可以指读取公共页面的脚本、非官方的第三方数据提取器,或与 Dun & Bradstreet 的 API 的授权集成。这些途径具有不同的覆盖范围、权限和工程风险:
| 方法 | 数据范围 | 结构和匹配 | 访问和成本 | 适当使用 |
|---|
| 抓取公共 D&B 页面 | 仅允许页面上可见的内容 | 由您维护的 HTML 解析;可能无法展示所有公司属性 | 查看适用条款、机器人说明和数据权利;不假设数据库访问 | 一项狭窄的、被允许的页面级任务 |
| D&B Direct+ API | 您的组织有权使用的数据产品 | 结构化响应,适用于文档化的产品和匹配工作流程 | 需要客户凭证和商业使用权;检查合同以了解定价和限制 | 基于您的协议覆盖的公司身份、增强、供应商或风险工作流程 |
| 公共公司注册机构 API | 针对特定管辖区的官方备案和注册字段 | 结构化的官方记录,通常带有本地标识符 | 认证、速率限制和重复使用条款因注册机构而异 | 针对特定管辖区的研究和验证 |
| 爬取公司网站 | 公司自己网站上的公共页面内容 | 您定义提取和标准化;没有权威的业务身份匹配 | 访问和使用取决于每个目标网站的规则 | 收集被允许的公共产品、文档或公司页面内容 |
成功抓取页面并不意味着您已经复制了 D&B 的商业数据集。网页可能省略许可字段、反映不同的更新计划,或代表一个地方办公室而非全球企业实体。 Nstdata 爬虫 仅与被允许的网站内容收集相关,与 D&B API 记录无关。
免费试用 Nstdata →
Dun & Bradstreet是什么以及它提供什么商业数据?
Dun & Bradstreet 是一个商业数据提供商。根据产品和客户的使用权,D&B 数据可能支持公司识别、商业简介、销售和营销增强、供应商工作流程以及与风险相关的用例。确切的字段和允许的用途不是普遍适用的:请查看产品文档和您账户的协议。
理解 D-U-N-S 编号
D-U-N-S 编号是 D&B 用于在 D&B 系统中识别商业位置的标识符。它不是税号或政府登记号。母公司、子公司和分支机构可能被表示为相关但独立的实体。请查看 D&B D-U-N-S 参考 以了解该标识符的当前定义和使用。
对于实体解析,不要仅仅基于名称进行匹配。保留输入名称、国家、地址、来源和匹配结果。在业务流程允许的情况下,对多个属性进行比较,并将模糊匹配的结果路由给人工审查者。
常见 D&B 商业数据字段
D&B 产品可能暴露公司身份、地址、行业分类、公司链接、财务或风险相关属性以及其他公司简介细节。返回哪些字段取决于产品代码、视图、市场和合同授权。请勿将示例响应中的假设硬编码到每位客户使用的模式中。
D&B API 是什么以及它是如何工作的?
D&B的API产品提供对特定商业数据产品的编程访问。D&B文档目录列出了产品特性,如公司搜索、匹配、公司详情和供应商数据,但可用的操作取决于组织拥有的API产品和权利。Direct+认证文档描述了令牌流;并不是每个公司搜索端点都是公开可用的。
- 组织获取凭证并与D&B确认产品访问。
- 应用程序用其密钥和秘密交换访问令牌。
- 应用程序调用为其产品和市场文档记录的特定资源。
- 应用程序存储返回的字段以及来源、时间戳和权限上下文。
D&B API 认证和访问要求
不要从文档页面复制示例凭证值到代码中。将您的帐户凭证存储在秘密管理器或环境变量中。从您帐户可用的文档中获取正确的产品端点、请求参数和响应架构。
搜索和匹配商业实体
公司匹配本质上是模糊的。“Acme Ltd”可能指多个法律实体,品牌名称可能与注册公司名称不同。发送您有权访问的最强字段——通常是名称和地点,并在适当的情况下,发送本地注册标识符。确切的参数名称取决于产品API。
- 高置信度: 关键身份字段与返回的实体一致。
- 需要审查: 名称匹配但国家、地址或法律后缀不同。
- 没有匹配: API没有返回合适的候选项或所需字段冲突。
检索公司配置文件和商业属性
公司配置文件请求应从为您的帐户文档记录的端点和产品视图构建。不要假设“标准”视图包含您业务流程所需的每个数据点。检查可选数据是否单独有权访问,以及成功交易是否根据您的协议需要收费。
在重要的地方记录字段级来源:提供者、产品、检索时间、源标识符以及响应返回的任何数据新鲜度字段。缺失的值应保持缺失,而不是从抓取的页面中推断出来。
您能抓取邓白氏网站数据吗?
公共资料页面可能显示一些公司信息,但抓取该页面并不等同于获取D&B的完整商业数据。页面可能不完整、个性化、动态渲染,或受限于限制自动收集或重用的条款。
基于网站的收集的技术挑战
当标记更改时,页面解析器可能会崩溃。它还可能将母公司与分支机构混淆,错过隐藏在交互后面的字段,或为同一实体收集重复配置文件。如果页面是动态的,则可能需要浏览器渲染——但渲染只改变页面的加载方式;它不会扩展您使用内容的权利。
爬虫适合在定义的范围内大规模收集允许的页面内容。它不是实体匹配服务,无法返回访问页面时缺失的字段。
网站条款、许可和数据权利
在收集或重用商业数据之前,请审查适用于该网站、您的D&B合同以及与您使用相关的法律和隐私要求的条款。特别是,验证存储、丰富、重新分配和保留是否被允许。如果合同不清晰,请询问D&B或您的法律/合规团队。
不要使用自动化手段绕过登录、付费墙、验证码或技术访问限制。如果您的组织已获得API访问许可,请使用文档记录的API,而不是试图从网页重建数据集。
D&B API 教程:一个实用的商业数据工作流程
下面的示例显示了经过验证的Direct+令牌交换和一个故意通用的资源请求。它不创造公司搜索路径。设置DNB_RESOURCE_URL和请求参数,从您组织被授权使用的产品的端点文档中获取。
第1步:准备公司搜索输入
规范输入记录后再进行调用。有用的内部结构可能包含:
{
"source_record_id": "crm-0042",
"company_name": "示例制造",
"country_code": "US",
"address": {
"locality": "奥斯丁",
"region": "TX"
},
"registration_id": null
}
这是一个应用程序端的示例,而非 D&B API 请求架构。将其映射到您的许可端点接受的确切字段。
第 2 步:调用授权的 D&B API
在您的环境中设置凭证和端点 URL。端点 URL 必须来自您帐户的产品文档:
export DNB_CLIENT_KEY='set-this-in-your-secret-manager'
export DNB_CLIENT_SECRET='set-this-in-your-secret-manager'
export DNB_RESOURCE_URL='copy-the-entitled-resource-url-from-your-DnB-docs'
import os
import requests
TOKEN_URL = "https://plus.dnb.com/v1/token"
def get_access_token() -> str:
client_key = os.environ["DNB_CLIENT_KEY"]
client_secret = os.environ["DNB_CLIENT_SECRET"]
response = requests.post(
TOKEN_URL,
auth=(client_key, client_secret),
headers={"Origin": "www.dnb.com"},
json={"grant_type": "client_credentials"},
timeout=(5, 20),
)
response.raise_for_status()
token = response.json().get("access_token")
if not token:
raise RuntimeError("Token response did not contain access_token")
return token
def call_entitled_resource(query_params: dict[str, str]) -> dict:
resource_url = os.environ["DNB_RESOURCE_URL"]
token = get_access_token()
response = requests.get(
resource_url,
headers={
"Authorization": f"Bearer {token}",
"Origin": "www.dnb.com",
"Accept": "application/json",
},
params=query_params,
timeout=(5, 30),
)
response.raise_for_status()
return response.json()
对 call_entitled_resource() 的调用应传递您可以访问的端点参考中的参数名称和值。某些 D&B 产品可能使用不同的请求方法或有效负载;请根据该产品的文档合同调整示例。不要记录令牌或机密。
第 3 步:解析和规范化业务数据
将响应映射到您自己的稳定架构,而不是将提供者响应传递给每个下游服务。由于字段路径因产品而异,请明确进行映射:
def normalize_company(
record: dict,
*,
duns_value: str | None,
name_value: str | None,
country_value: str | None,
) -> dict:
return {
"provider": "dnb",
"provider_record_id": duns_value,
"company_name": name_value,
"country_code": country_value,
"source_payload": record,
}
传递给此函数的值应使用您的响应中的实际 JSON 路径提取。上述规范化对象是建议的内部形式,而不是对 D&B 原始字段名称的承诺。
第 4 步:匹配、去重和存储公司记录
使用 D-U-N-S 号码或其他授权的稳定提供者标识符作为候选键,同时保留原始源记录 ID。避免仅仅因为它们的规范化名称匹配而合并实体。保持匹配信心和证据字段,并确保更新是幂等的,以便重新运行批处理不会创建重复的公司行。
D&B API 定价和总拥有成本
没有单一的公共价格适用于每个 D&B API 产品和客户。访问、产品权限、使用费用、配额和合同条款各不相同。一些 D&B API 文档描述了特定产品的计量请求和授权要求,但这些条款不应在 Direct+、Direct 2.0 或其他地区之间进行概括。请向 D&B 索取当前报价以及您产品的可计费交易定义。
monthly total = platform or contract fees + billable API calls + data storage + integration and monitoring work
对于爬虫,包含页面更改的维护、允许的请求速率、数据质量审查和许可检查。比较合规工作流的总成本,而不仅仅是第一次 HTTP 请求的成本。
D&B API 替代方案以收集业务数据
当您需要来自特定管辖区的官方记录时,公共数据源可能是合适的选择。它们未必包含与商业数据提供者相同的公司层级、身份匹配、风险指标或全球覆盖。
公共公司注册处与商业数据 API
- SEC EDGAR: 美国证券交易委员会(SEC)发布了公司提交和提取的 XBRL 数据的 JSON API。这是美国上市公司的文件和报告事实的来源,而不是全球私营公司的数据库。SEC API 文档 表示,公共数据 API 不需要 API 密钥,并随着文件的发布而更新。
- Companies House: 英国注册处提供了一个 REST API,用于记录公司的信息。访问需要 API 凭证,其数据范围反映了英国注册。请参见Companies House API 入门指南。
- 其他国家注册处: 每个注册处都有自己独特的实体标识符、字段、可用性、更新节奏、速率限制和重用条款。请直接检查相关政府来源。
- 商业业务数据 API: 当你需要跨境公司信息或公共注册中不存在的属性时,请选择有许可证的提供商。在集成之前比较覆盖范围和合同权利。
当网络爬虫 API 有用时
爬虫 API 可以从公司网站收集允许的公共内容,例如产品页面、文档页面或公司公告,并返回标准化的页面内容。它不能替代 D&B 的专有公司记录,不能从任意 HTML 推断出可靠的 D-U-N-S 匹配,也无法访问受限页面。
D&B 商业数据的实际用例
- 供应商尽职调查: 确定供应商实体并仅检索您的合同涵盖的风险或链接字段。
- CRM 丰富: 匹配公司记录、存储来源,并在写回更改之前审核模糊匹配。
- 市场研究: 将授权的商业数据与公共备案结合使用,并清楚标记每个字段的来源和覆盖范围。
- 公共公司研究: 使用 SEC 的备案数据进行备案和报告事实;当任务需要额外的公司属性时,使用许可提供商。
- 公司网站监测: 爬取允许的公共页面,监测产品或政策内容的变化,同时将该数据与权威的公司身份记录分开存储。
如何建立合规的商业数据管道
- 确认许可证、产品权利和允许的用途。
- 通过批准的 API 或公共注册获取数据。
- 标准化标识符和特定国家的字段。
- 使用多个属性匹配实体,并保留置信度或审核状态。
- 存储供应商、源记录、检索时间和数据新鲜度。
- 应用适用协议中的保留、修正和删除规则。
- 监测配额、成本、匹配率、缺失字段和 API 错误。
此设计有助于防止一种看似便利的网络抓取变成无法追踪的公司记录来源。
最终裁决:D&B API、网络抓取或替代数据源?
当所需字段、市场和使用权利包含在您组织的 D&B 协议中时,请使用 D&B 的 API。对于特定司法管辖区的官方记录,请使用公共注册。对于允许的公共网站内容,请使用爬虫,而不是复制许可的商业数据库。在选择之前,先进行小规模的概念验证,以衡量匹配质量、字段覆盖、更新需求和全部运营成本。
体验 Nstdata — 今天开始您的免费试用
对于涉及允许的公共公司网站的独立任务,请评估 Nstdata Crawl。D&B API 记录和使用权利仍然受您的 D&B 产品权利的管辖。
常见问题
是的。D&B 提供包括 Direct+ 在内的 API 产品以及其他特定产品的 API。操作和字段取决于您的组织的产品和权益。
问:D&B API 是免费的吗?
不要假设它是免费的。访问和使用条款取决于API产品、客户协议和授权。请向D&B询问您帐户当前的定价和计费使用规则。
脚本在技术上可以解析公开访问的页面,但页面抓取并未提供完整授权的D&B数据集。请检查适用条款,并且不要绕过登录、支付墙或其他访问限制。
它是与D&B系统中业务位置相关的D&B业务标识符。它不是税号或政府注册号。
确认所需的产品和字段,从D&B获取授权凭证和授权,使用产品文档化的身份验证和端点,然后归一化并存储带有来源和检索元数据的数据。
对于公共记录,请使用相关管辖区的官方公司注册处,例如美国公共公司申报的SEC EDGAR或英国公司信息的Companies House。对于商业增强,根据覆盖范围、字段、价格和使用权比较授权提供商。
Ivy Lin
Oct. 19th 2026
支持 JavaScript 渲染,成功率达 99.8%
将任意网站转换为 Markdown、HTML、JSON、链接、PDF 等格式,无需管理爬取基础设施。