TL;DR
- 一个佳士得的网络爬虫将把拍卖和拍品页面转换为结构化记录，但佳士得当前网站条款禁止未经许可的自动收集。
- 在设计收集器之前，请使用书面的数据协议、经过批准的导出或授权源；代理或浏览器渲染器并不授予收集权利。
- 在每个接受的记录中保留销售 ID、拍品 ID、货币、估计、成交价格、价格基础、状态、源 URL 和观察时间。
- 估计不是最终价格，成交价格可能包括买家佣金。在未记录其基础的情况下，绝不要比较金额。
- Nstdata Crawl 可以为授权源提供有限的发现、JavaScript 渲染、任务状态和适用于 LLM 的页面文档；它不提供许可证或特定于拍卖的架构。
What Is a Christie's Scraper?
一个佳士得的网络爬虫是一个提议的系统，收集来自佳士得页面的拍卖信息并将其转换为用于分析的记录。通常的商业意图是已售拍品研究、艺术家市场监测、目录丰富或引用研究助手。佳士得的公共 拍卖结果接口 显示销售、日期、地点和结果链接，因此技术想法很容易想象。页面的可用性与自动访问的许可是分开的。
佳士得的 网站条款 限制机器人、脚本、爬虫和自动收集。它们还限制缓存、归档和规避访问控制的尝试。因此，生产项目应该以书面许可开始，定义允许的页面、字段、频率、存储、再分发和 AI 使用。如果该协议不可用，请使用授权的数据馈送或支持预期使用的源。本文描述了授权拍卖数据的架构；它并未直接对佳士得进行收集。
Why Do Auction Teams Need Structured Lot Data?
拍卖团队需要结构化的拍品数据，因为列表页面、拍品描述和销售结果回答不同的问题，并在不同时间变化。预售估计后来可能变成成交结果、未售结果或撤回。一位市场分析师希望获得可比价格；目录团队想要制造商、媒介、尺寸和出处；RAG 助手希望获得准确的文本和来源引用。一个通用页面的转储无法保证满足所有三者。
考虑一个出现在预售目录、最终结果和新闻稿中的作品。将这些页面视为三个对象会增加供应量。使用稳定的源销售 ID 和拍品 ID，外加规范的 URL 和观察时间。保留修订，而不是默默覆盖第一个值。变更的拍品描述或状态应创建可追踪的更新。
价格语义尤为重要。佳士得发布的 目录指南 表示估计不是保证，并不包括买家佣金和税费。显示的成交价格可能与槌价不同。每个金额旁边都要保留货币和价格基础，不要推断缺失的值。
How Should an Authorized Auction-Data Pipeline Work?
一个授权的拍卖数据管道应分离许可、发现、获取、标准化、接受和交付。这使得缺失的拍品可以被诊断：它可能超出范围、不在列表中、获取时被阻止或被验证拒绝。
| 阶段 | 输出 | 未检测到的失败 |
|---|---|---|
| 许可和范围 | 批准的域、路径、字段、速率、保留 | 协议之外可访问的页面 |
| 发现 | 有限的销售和拍品 URL 队列 | 无限的过滤器或重复查询 URL |
| 获取 | 渲染的页面文档 | 空壳、重定向、挑战、超时 |
| 标准化 | 候选拍品记录 | 混淆的货币或价格基础 |
| 接受 | 具有出处的验证记录 | 缺失的 ID、过期的状态、错误的销售 |
| 交付 | 版本化的表和文本索引 | 重复的嵌入或丢失的归属 |
从一个小的批准样本开始：几个销售模板、一个已售拍品、一个未售或撤回的拍品，以及一个其所需字段在 JavaScript 后出现的页面。将返回的标识符与源的可见计数进行比较。单靠列表计数并不能证明完整的收集。
对于 AI，请在文本文档旁保留一个狭窄的结构化表。该表支持比较；Markdown 保留描述和引用上下文以便检索。在两者中记录源 URL、提取时间和内容哈希。内容哈希允许索引器仅更新已更改的文档，而稳定的拍品 ID 可防止重复记录。
哪些字段使拍卖记录可靠？
当每个身份和数字都有明确的含义时，拍卖记录变得可靠。一个示例记录如下所示：
{ "source": "licensed_auction_feed", "sale_id": "SALE-001", "lot_id": "LOT-024", "title": "示例作品", "artist_or_maker": "示例制作者", "sale_date": "2026-11-06", "currency": "USD", "estimate_low": 10000, "estimate_high": 15000, "price_realized": null, "price_basis": "unknown", "lot_status": "pre_sale", "source_url": "https://catalog.example.org/sales/SALE-001/lots/LOT-024", "observed_at": "2026-11-06T00:00:00Z" }
这是一个架构示例，而不是实时的佳士得提取。在接受一行之前，需要销售和拍品ID、货币、状态和源URL。对于不可用的实现价格使用null；零有不同的含义。如果您稍后转换货币，请保留原始金额，并记录汇率来源和日期。对于RAG或模型训练，排除个人竞标者和卖家详细信息、带水印的图像以及超出协议的内容。
Nstdata爬虫适合什么？
Nstdata Crawl 是一个 Web 爬虫 API，可为 LLM 准备的数据，可以将一组经批准的拍卖页面转换为页面工件。其当前的 文档 描述了有限站点发现、JavaScript 渲染、任务轮询以及 Markdown、HTML、原始数据、链接、截图和 PDF 输出。该应用程序仍然拥有拍品身份、价格解释、质量保证、许可和存储。
- 有限范围： 在爬取开始之前设置最大深度、页面数量、包含路径和排除路径。
- 渲染： 在初始 HTML 中缺少所需字段时，使用浏览器渲染，然后验证渲染结果。
- 输出选择： 使用 Markdown 获取上下文，使用清理后的 HTML 作为选择器，使用原始数据进行调试。只有在协议允许保留的情况下才存储截图或 PDF。
- 任务可见性： 在将数据集视为完整之前，轮询进度并检查已完成、待处理和失败的页面数量。
- 内置代理路由： 客户端无需配置单独的代理主机、端口、用户名和密码。代理流量可能仍会单独收费。
以下记录的 API 形状针对运营者拥有或已获得许可的示例领域。仅在范围获得批准后更换示例 URL。该示例是示例性的，因为没有可用于本文的实时 Nstdata 密钥或批准目录。
curl -X POST "https://api.nstdata.io/api/v1/crawl" \ -H "x-api-key: $NSTDATA_API_KEY" \ -H "Content-Type: application/json" \ -d '{ "url": "https://catalog.example.org/sales/", "formats": ["markdown", "html"], "maxDepth": 2, "maxPages": 25, "includeUrls": ["*catalog.example.org/sales/*"], "excludeUrls": ["*catalog.example.org/account/*"], "ignoreQuery": true, "onlyMainContent": true, "timeout": 60000 }'
站点爬虫端点返回一个爬虫 ID。查询 GET /api/v1/crawl/status/{crawlId} 以获取进度，并查询 GET /api/v1/crawl/pages/{crawlId} 以获取页面。检查每个页面的成功状态、预期销售身份和内容，然后再进行转换。API 响应可以成功，而页面任务可能失败。 爬虫定价页面 解释了基于 URL 的计费和单独收费的代理流量；评估每个接受的拍品成本，而不仅仅是每个请求的成本。
生产中可能出错的地方？
最昂贵的拍卖数据失败往往是一个看似合理但错误的记录。列表可能省略未售出的拍品；详情页面可能显示一种货币，而嵌入的值使用另一种；结果可能包括买家的溢价而没有相应的锤子价。根据许可来源列出按销售、年份、货币和状态接受的示例记录。
JavaScript 增加了第二种失败模式：HTTP 200 可能在拍品表渲染之前到达。使用与所需字段相关的准备条件，拒绝空白或类似挑战的工件。不要将挑战页面变成空拍品。如果源拒绝访问或缺少权限，请停止并解决该问题。轮换 IP 并不是数据质量的修复。 跟踪提交的 URLs、检索到的页面、具有有效的批次 ID、重复项、失败、代理流量和审查时间。无界限的过滤爬虫可能会生成许多可计费的页面，但信息量较少。明确的包含和排除规则是一种业务控制，而不仅仅是爬虫设置。 机器人排除协议 也定义了爬虫指令，但机器人规则并不替代许可证或合同。
团队何时应该建立这个管道？
团队只有在其商业目的、收集权和验证预算明确时，才应该建立拍卖数据管道。首先从允许的源或小型许可源集开始，定义批次架构，测试输出是否回答实际的研究问题。如果缺少修订历史或价格基础定义，更大的爬虫只会让数据集变得更大。
对于已批准的网络源，Nstdata Crawl 可以提供管理的页面到 Markdown 层，而您的团队负责架构和证据检查。如果主要问题是在几个收集者之间的代理管理，请单独评估 Nstdata Proxy Manager。
常见问题解答
问：我可以在没有协议的情况下抓取佳士得的公共页面吗？
佳士得的当前网站条款禁止自动抓取和收集，因此生产工作流程应首先寻求书面许可或批准的数据源。
问：代理是否使拍卖数据收集变得合法？
不。代理改变了网络路由，而不是源的条款、版权权利或操作员的义务。
问：估算和实际价格在存储时是否可比？
不。估算、锤价和实际价格可以有所不同，是否包括买方溢价和税费；存储每个金额的基础和货币。
问：Nstdata Crawl 是否生成完成的拍卖数据库？
不。爬虫生成页面文物和任务结果；应用程序必须提取、验证、去重和授权与拍卖相关的记录。
问：团队应该如何衡量成功？
衡量接受的批次，具有稳定的 ID、正确的价格基础、完整的来源和允许的使用，而不仅仅是 HTTP 成功或下载的页面数量。
