Nstproxy 现已升级为 Nstdata。了解此次变化。 周一至周五 09:00 - 18:00(UTC+08:00) 公司地址
19H MAXGRAND PLAZA NO.3 TAI YAU STREET SAN PO KONG, KOWLOON HONG KONG
©2026 NST LABS TECH LTD. 保留所有权利。 电商网页抓取指南:从 Python 示例到生产数据流程Ivy LinCommunity & Content Lead
电商网页抓取指南:采集公开商品数据
TL;DR
- 电子商务网页爬虫将允许的产品页面转化为价格分析、目录匹配、库存研究或人工智能应用的记录。
- 在收集价格之前,需定义产品、变体、卖家、货币和观察时间;一个 URL 和一个金额通常不够。
- 当可用时,从批准的 feed 或 API 开始,在 HTML 包含所需字段时进行解析,仅在必要时呈现 JavaScript。
- 以下的 Python 演练收集了两个 Books to Scrape 目录页面,并写入经过验证的 JSON 和 CSV。验证运行接受了 40 个产品。
- Nstdata Crawl 是一个针对 LLM 准备数据的网络爬虫 API,提供范围发现、递归爬取、JavaScript 渲染、有用的内容格式和内置代理。
- 测量覆盖范围、新鲜度和每个接受报价的成本。保持失败运行不会覆盖以前接受的数据集。
电子商务网页爬虫用于什么?
电子商务网页爬虫从授权的网络来源收集产品和报价信息,以便企业能够分析市场或维护数据产品。
零售商可能会将其目录与公开列出的竞争对手报价进行比较。分析师可能会跟踪产品组合的变化。人工智能购物助手可能会检索产品描述并引用源页面。每种用途都需要不同的数据约定:可读的描述可以帮助检索,而价格比较则需要确切的变体、卖家、货币和商业条件。
技术工作分为三个阶段:检索页面、提取候选字段,以及接受或拒绝每条记录。一本有用的电子商务网页爬虫指南必须涵盖所有三个方面。Nstdata Crawl 可以管理检索并准备内容,但返回的页面仍需验证才能成为价格观察或训练示例。
本教程使用 Books to Scrape,一个公共实践网站,而不是针对实时零售商。其简单的目录使得在不混淆演示和支持的生产集成的情况下验证分页和提取成为可能。
开始前你需要什么?
你需要一个授权来源,一个边界 URL 范围,一个记录架构,以及一个带有 Requests 和 Beautiful Soup 的 Python 环境。
使用虚拟环境,并通过你的包管理器安装 requests 和 beautifulsoup4。该演练是在 Python 3.9、Requests 2.32.5 和 Beautiful Soup 4.15.0 下执行的;这些是验证环境,并不是说这些版本是必需的或最新的。用于部署请使用维护的 Python 环境。
Requests 快速入门 文档介绍了响应处理和超时。Beautiful Soup 文档 涵盖了解析和 CSS 选择。
在演示中,起始 URL 是 https://books.toscrape.com/catalogue/page-1.html,主机允许列表是 books.toscrape.com,最大页数为两页。输出字段是标题、产品 URL、十进制价格、货币、可用性文本、源列表页面和观察时间。
对于真实的目录,添加稳定的产品和报价标识符、选择的选项、卖家、地区、税收和运输处理,以及提取版本。Schema.org Offer 术语 是分离报价与其描述的产品的有用参考。不要假设每个网站都准确实现了这些字段。
一个可靠的电子商务数据收集管道是如何工作的?
一个可靠的管道保持发现、检索、提取和发布的分离,以便某一阶段的失败不会无声地破坏下一阶段。
发现会在允许的主机和路径中生成候选 URL。检索记录最终的 URL、状态、内容类型和响应证据。提取生成带有源上下文的候选记录。验证检查必需字段和业务意义,然后才能发布接受的快照或事件。
保持列表页面的发现与详细页面的提取分开。列表卡可能会省略变体标识符或显示“起价”。跟随详细链接并不自动解决所选选项。结构化产品提取指南 更深入地阐述了页面内容与可用产品记录之间的区别。
对于定期运行,以报价身份和时间为关键观察,而不是用最新金额替换历史。一项列表页面的缺失表示“在此运行中未观察到”,而不一定表示“已停产”。记录爬取边界,以便下游分析人员能区分有限样本和完整目录。
如何使用 Python 收集公共产品数据?
您可以检索一个有限的 HTML 目录,选择每个产品卡片,验证其字段,并将接受的记录写入磁盘。
方法 1:解析一个小的 HTML 目录
最佳选择: 一个已批准的源,其返回的 HTML 已经包含所需的产品字段。
步骤 1:确认样本页面上的选择器。 打开实践目录并检查一个产品卡片。经过验证的卡片容器是 article.product_pod;其标题链接是 h3 a,价格是 .price_color,库存文本是 .availability。
步骤 2:保存有限提取器。 将此代码保存为 collect_products.py。它遵循目录的下一页链接,但在两页后停止,拒绝重复的 URL,并解析响应字节以避免错误解码的货币符号。
import csv
import json
import os
from datetime import datetime, timezone
from decimal import Decimal
from pathlib import Path
from urllib.parse import urljoin, urlparse
import requests
from bs4 import BeautifulSoup
url = "https://books.toscrape.com/catalogue/page-1.html"
records, seen_pages, seen_products = [], set(), set()
observed_at = datetime.now(timezone.utc).isoformat()
with requests.Session() as session:
for _ in range(2):
if url in seen_pages or urlparse(url).netloc != "books.toscrape.com":
raise ValueError("Unexpected or repeated catalogue URL")
seen_pages.add(url)
response = session.get(url, timeout=(10, 30))
response.raise_for_status()
if "text/html" not in response.headers.get("Content-Type", ""):
raise ValueError("Expected an HTML catalogue")
soup = BeautifulSoup(response.content, "html.parser")
cards = soup.select("article.product_pod")
if not cards:
raise ValueError("No product cards: inspect the saved response")
for card in cards:
link = card.select_one("h3 a")
price = card.select_one(".price_color")
stock = card.select_one(".availability")
if link is None or price is None or stock is None:
raise ValueError("Incomplete product card")
product_url = urljoin(response.url, link["href"])
if urlparse(product_url).netloc != "books.toscrape.com":
raise ValueError("Unexpected product origin")
if product_url in seen_products:
raise ValueError("Duplicate product in this bounded sample")
seen_products.add(product_url)
raw_price = price.get_text(strip=True)
if not raw_price.startswith("£"):
raise ValueError("Expected the practice site's GBP price")
amount = Decimal(raw_price[1:])
if amount < 0:
raise ValueError("Negative price")
records.append({
"title": link["title"].strip(),
"url": product_url,
"price": str(amount),
"currency": "GBP",
"availability_text": stock.get_text(" ", strip=True),
"source_page": response.url,
"observed_at": observed_at,
})
next_link = soup.select_one("li.next a")
if next_link is None:
break
url = urljoin(response.url, next_link["href"])
if not records or any(not row["title"] for row in records):
raise ValueError("No acceptable records")
Path("products.json.tmp").write_text(
json.dumps(records, ensure_ascii=False, indent=2), encoding="utf-8"
)
os.replace("products.json.tmp", "products.json")
with open("products.csv.tmp", "w", newline="", encoding="utf-8") as handle:
writer = csv.DictWriter(handle, fieldnames=list(records[0]))
writer.writeheader()
writer.writerows(records)
os.replace("products.csv.tmp", "products.csv")
print(f"Accepted {len(records)} products from {len(seen_pages)} pages")
步骤 3:执行文件。 在包含依赖项的环境中运行 python collect_products.py。验证运行打印了 接受来自 2 页的 40 个产品;这是一个观察到的样本结果,并不能保证未来网站内容。
步骤 4:检查导出的记录。 打开 products.json 和 products.csv。比较标题、价格、URL 和源页面与目录。两个导出都包含相同的接受行。每个文件在验证后都是原子替换;这两个替换是分开的,因此需要一个事务的生产系统应该发布一个版本化目录和一个清单指针。
限制: 这些选择器和英镑假设属于这个实践网站。该代码不实现零售商特定的变体、身份验证、浏览器渲染、调度或恢复检查点。它在请求错误时也会停止,而不是无限重试。
方法 2:使用批准的提要或产品 API
最佳选择: 提供具有您所需字段和使用权的文档接口的源。
步骤 1:获取源的集成规范。 确认该提供者的基础 URL、身份验证方法、范围、分页、速率限制和字段定义。这里没有通用的电子商务产品 API 端点可以替代。
步骤 2:将响应映射到您的契约。 确定 ID 是否指代产品、变体或优惠。保留本币和时间戳。明确地映射缺失值,而不是将省略的库存字段视为“缺货”。
步骤 3:验证完整的边界运行。 按照文档中的游标或页面令牌,核对结果标识符与源,并在接受的记录被持久存储后才进行检查点。
限制: 提供的源可能会延迟、具有地理范围限制或对某些卖家不可用。其支持的架构仍可能与产品页面上显示的信息不同。
Nstdata Crawl 如何支持电子商务数据工作流?
Nstdata Crawl 可以在维护浏览器和代理基础设施成为项目的重要部分时,提供渲染的产品内容和特定网站的抓取。
它是一个针对 LLM 准备的数据的网络爬虫 API,对于将批准的产品页面转换为您自己的管道可以检查和转换的内容非常有用。发现和递归抓取可以扩展控制的类别或详细页面集。JavaScript 渲染可以获取初始响应中缺失的字段。多种格式支持 AI 上下文和确定性提取。业务验证在抓取后仍然是必要的,尤其是在错误的变体或货币可能影响决策的情况下。
- 受控发现: 配置起始 URL、
maxPages、maxDepth 和网站抓取的 URL 包含或排除模式。限制分面导航和无关部门,然后再增加访问量。
- JavaScript 渲染: 在 Crawl Playground 中配置和测试目标,然后使用其生成的请求。渲染是一种获取能力,而不是保证每个页面或受保护区域均可用。
- 具有不同目的的格式: Markdown 对于产品描述和抓取很有用;HTML 支持基于 DOM 的解析;链接支持发现。PDF 和屏幕截图可以支持选择的证据工作流。JSON 传输并不意味着响应是认可的商业架构。
- 内置代理: 标准托管调用不需要单独的主机、端口、用户名、密码或协议字段。URL 使用和代理流量可以单独增加成本,因此仅请求管道所需的内容和格式。
方法 3:通过 Crawl API 获取产品内容
最佳选择: 需要管理渲染、内容输出或更广泛受控发现的批准网络源。
步骤 1:获取测试请求。 打开 仪表板 → Crawl Playground,输入一个代表性的产品 URL,选择 Markdown 和 HTML,并检查结果。获取 API 密钥并复制当前生成的请求。
![截图:Crawl Playground,展示练习产品 URL,选择 Markdown 和 HTML,及生成的请求;隐藏 API 密钥。]
步骤 2:调用同步端点。 首先在您的环境中设置 NSTDATA_API_KEY。这个文档集成示例并没有使用客户的 API 密钥执行。
curl --fail-with-body --request POST \
'https://api.nstdata.io/api/v1/crawl/scrape/submit-sync' \
--header "x-api-key: ${NSTDATA_API_KEY:?Set NSTDATA_API_KEY}" \
--header 'Content-Type: application/json' \
--data '{"url":"https://books.toscrape.com/catalogue/a-light-in-the-attic_1000/index.html","formats":["markdown","html"],"onlyMainContent":true,"timeout":60000}'
步骤 3:在提取优惠之前验证抓取。 检查外部响应和嵌套的完成和成功字段、页面状态、标题和返回的内容。如果存储引用替代了内联内容,请使用文档化的存储流程进行获取。然后解析所需字段,并应用与其他方法相同的商业契约。
限制: 管理抓取并不能确定显示的价格是否包含运费,两个列表是否代表相同的变体,或您是否有权限收集一项源。全站作业还需要检查任务状态和收集页面结果;提交并不等于完成。
基于 LLM 准备好的网络数据构建
检索经过批准的页面,进行范围爬取,JavaScript 渲染及适应你的 AI 工作流的内容格式。
免费尝试 Nstdata
|
https://example.com/article
爬取
|
为什么产品记录未能通过验证?
当源表示、选定实体或归一化规则与预期的提供不匹配时,产品记录会失败。
| 症状 | 可能原因 | 解决方案 |
|---|
| HTML 响应中没有卡片 | JavaScript shell、模板更改或意外页面 | 在切换表示或选择器之前检查响应 |
| 价格解析但比较错误 | 不同的货币、包装尺寸、卖家或变体 | 保持提供身份和商业条件 |
| 出现重复产品 | 重叠的类别或跟踪 URL | 使用经过验证的身份规则进行去重,保留源出处 |
| 一次运行突然出现较少的产品 | 范围、分页或源可用性发生变化 | 比较运行清单并检查缺失的部分 |
| HTTP 成功包含错误页面 | 传输状态是唯一的检查 | 要求页面身份和预期内容 |
| 隔离失败及其网址和原因。抓取错误指南 解释了为什么变化的选择器需要与临时超时不同的响应。重试结构上错误的页面可能会增加成本而不修复记录。 | | |
如何在不降低数据质量的情况下扩展?
在有界样本通过字段、身份、新鲜度和覆盖率检查后再进行扩展。
使用每个源的并发限制和有界重试的队列以处理临时故障。将发现与详细页面作业分开,以便在一个产品失败时不会重复昂贵的类别爬取。记录重试次数、失败原因、接受和拒绝的记录,以及最近接受观察的年龄。
对于重复比较,在发布价格变更之前评估匹配情况。审查确切匹配、可疑匹配和被拒候选者的样本。模型生成的匹配应携带证据和不确定性,而不是成为不容置疑的身份。
对于大型网址清单,使用批量爬取工作流,对于验证边界,使用网站到 JSON 工作流。比较每个接受报价的总运营成本,包括浏览器时间、代理流量、重试、存储和工程维护。如果一个便宜的请求经常产生不可用的数据,那么它就不是一个便宜的观察。
常见问题
问:Beautiful Soup可以抓取JavaScript产品页面吗?
它可以解析提供给它的HTML,包括渲染的HTML,但它不执行JavaScript。当初始响应中缺少所需字段时,请使用已批准的API或渲染阶段。
不总是如此。一个 URL 可能代表多个变体或卖家,不同的 URL 可能指向同一报价。保留源标识符并验证该目录的身份规则。
不。它可能超出了爬取范围、从列表中移除、暂时不可用,或因为一个失败的页面而遗漏。记录观察到的内容,避免虚构可用状态。
问:Nstdata Crawl 是否自动返回标准化的产品记录?
不要仅仅根据成功的 Crawl 响应假定这一点。在发布之前,获取所需的表示,检查记录输出,并在您的应用程序中验证产品字段和身份。
Nov. 16th 2026
支持 JavaScript 渲染,成功率达 99.8%
将任意网站转换为 Markdown、HTML、JSON、链接、PDF 等格式,无需管理爬取基础设施。