TL;DR
- LLM训练所需的网络数据只有在其权利、来源、质量和保留期被理解的情况下才有价值。数量并不能弥补未经授权或标签不当的语料库。
- 分别进行收集、规范化、去重、质量审查和数据集发布。每个阶段都需要可以审计和反转的记录。
- Nstdata Crawl可以提供有限的公共网络收集和结构化文档，但它不决定内容是否有许可证、代表性或适合模型训练。
- 保留每个被保留或被拒绝记录的源URL、收集时间、政策决策、内容哈希、语言和排除理由。
LLM训练数据的质量意味着什么？
LLM训练数据的质量不仅仅意味着流畅的文本。一个有用的语料库具有明确的来源、记录的法律依据、与目标任务的相关性、语言和格式控制、重复处理，以及足够的元数据以便稍后删除数据。AWS对LLM数据集准备的概述同样将提取和整理框架视为更大准备流程的开始。Nstdata的Crawl产品可以提供有限的收集阶段，但它不能决定源是否属于你的语料库。
一个常见的错误是将公共可用性视为普遍许可。这并不是。条款、版权、隐私法、合同、数据主体权利和管辖权都可能会改变一个页面是否属于训练语料库。请寻求法律审查以确保指定模型、地理和分配计划的合规性。
在爬取之前制定收集政策
定义一个允许来源的白名单、允许的目的、相关语言、保留期限、排除标准和移除请求的拥有者。然后将该政策转换为爬取边界。广泛的领域通常不是一个足够的范围；文档、新闻、用户档案和法律页面可能具有不同的权利和隐私特征。
Nstdata Crawl可以帮助收集有限的公共页面，格式为Markdown、HTML、链接或视觉文档。使用明确的页面和深度限制，并保留源元数据。网络爬取术语表解释了为什么一个领域不是一个足够的边界；ETL术语表帮助保持提取和转换的可观察性。不要使用任何爬虫来绕过身份验证、付费墙或技术访问控制。
详细教程
方法1：收集有限的来源
步骤1：记录政策决策
在收集之前，记录源域名、目的、批准参考、收集日期、预期内容类别和删除联系路径。如果该信息不可用，则源尚未准备好自动包含。
步骤2：保留原始证据
存储源URL、内容哈希、原始或归档文档（在允许的情况下）、提取版本和规范化文本记录。Crawl for RAG指南在这里相关，因为可重现的源文档也有助于后续的质量审查。
