TL;DR
- LLM 训练数据收集是一个受控的数据集构建过程，而不是一次大型抓取。
- 在获取页面之前，定义目标技能、来源政策、抽样计划和评估保留。
- 保留来源和筛选决策，以便可以调查重复数据、个人数据和不适当的来源。
- Nstdata Crawl 可以提供受限的网络获取、JavaScript 渲染和 Markdown 或 HTML 输出；它不对训练语料库进行标注、许可或验证。
- 按来源组报告接受的标记和质量，而不仅仅是原始页面数量。
Web 数据在 LLM 训练中扮演什么角色？
Web 数据可以提供语言多样性、主题覆盖以及真实文档结构的示例。它的价值取决于模型的训练目标以及这些材料是否可以用于该目的。从随机页面构建的训练语料库可能会过度代表重复模板、机器生成文本、垃圾邮件和流行语言，同时低估团队实际需要的技能。 Nstdata Crawl 是用于讨论的获取和转换步骤的托管选项。
免费试用 Nstdata →
将“用于 LLM 训练的网络数据”视为数据集发布管道。发布应具有来源清单、收集窗口、抽样规则、转换版本、质量过滤器、去重政策和记录的排除项。在开始训练之前，保持评估数据的独立。网页的 HTML 和模型准备好的文本实例是不同的工件；转换可能会通过删除表格、标题或法律上下文而改变含义。
Markdown 转换指南 在准备可读候选文档时相关。
在收集之前应决定什么？
首先做出四个决定。首先，指定目标能力和您将用于衡量它的证据。其次，获得法律和隐私团队的批准，确认来源类别和预期用途。第三，根据语言、领域、文档类型和新鲜度选择抽样比例。第四，定义将被拒绝的内容：薄页面、仅导航页面、重复、敏感个人信息、恶意软件指令或不在批准许可范围内的内容。
保持来源登记和收集清单。有用的字段包括 source_id、url、retrieved_at、http_status、content_hash、license_or_policy_status、extractor_version、language、document_type 和 rejection_reason。不要将空白的权利字段存储为表示批准。 提供证据说明追踪来源和许可信息在数据集重用中的重要性。
