AI公司如何获取训练和RAG数据

TL;DR

• 培训数据和 RAG 数据是不同的产品：培训会改变模型权重，而 RAG 在请求时检索外部证据。
• AI 团队从许可证集合、第一方内容、公共数据集、合作伙伴数据源和允许的网页中获取数据；每个来源需要记录使用依据。
• 数据集清单应保留来源、获取时间、权利或政策状态、转化历史和删除路径。
• Nstdata Crawl 可以获取并转换允许的网页为 Markdown、HTML、原始数据、链接、截图和 PDF；它不授予培训权利或决定数据集的适用性。
• 在增加集合数量之前，应定义质量、来源和更新要求。

AI 公司从哪里获取培训和 RAG 数据？

AI 公司根据任务组合来源。第一方文档和客户批准的知识库通常支持 RAG。培训项目可能使用许可语料库、具有明确条款的公共数据集、合作伙伴数据、人类创建的示例和允许的网页材料。合成示例可以补充覆盖面，但其生成方法和来源依赖性仍需记录。公共 URL 是一个位置，而不是证明其内容可用于所有目的的证据。Nstdata Crawl 产品 是获取和转换步骤的托管选项。

免费试用 Nstdata →

培训和检索之间的区别影响架构。在 RAG 中，应用程序通常可以替换文档并重建索引，而无需重新训练模型。在培训中，移除一个来源可能需要数据集重建，并且根据模型和承诺，还可能需要进一步修复。数据来源计划 记录了随着数据集重新打包，许可证和来源信息可能会丢失的情况。在获取时保留该信息，而不是试图事后找回。

RAG 来源获取示例 显示了在获取后，块渊源为何重要。

团队应该如何分类候选来源？

在构建爬虫之前使用来源登记。每个条目应命名所有者、URL 或数据集标识符、收集方法、预期用途、适用条款、管辖审查、个人数据风险、更新模式以及纠正或删除的联系。不要将“公开可查看”合并为“批准用于培训”。同一页面在一种安排下可能适合用于搜索片段，而在另一种安排下则不适合用于培训。

收集流程在培训和 RAG 中有何不同？