合成数据与真实网络数据：哪种对人工智能更好？

TL;DR

• 真实网络数据记录源观察；合成数据通过生成器、模拟器或转换过程创建示例。
• 任何来源都无法确立真相、代表性、隐私或培训AI系统的权限。
• 当任务依赖于变化的事实时，请使用当前、可归属的网络观察；当任务需要受控的变异或稀缺案例时，请使用经过验证的合成示例。
• 混合管道应保持源血统、生成器血统和独立评估集分开。
• 按照与部署相关的质量、覆盖范围和接受示例的成本选择混合，而不是根据通用百分比或原始数据集大小。

合成数据与真实网络数据：答案依赖于AI任务

合成数据更适合控制AI系统看到的示例；真实网络数据更适合观察经批准的来源实际上发布的内容。这一区别并不意味着任何一种类别在AI中都优于另一种。即使三者都消耗文本，指令调优项目、变化的产品目录和检索助手的要求也是不同的。

假设一个助手必须回答有关组织当前政策的问题。生成的政策段落可以帮助测试助手是否理解格式，但无法确立组织的实际退款截止日期。可归属的当前政策页面可以提供该证据，但它仍可能模糊、过时或不完整。 有用的选择往往是一种分工，而不是赢家。

本指南在六个改变决策的维度上比较这两种来源，并提出源到示例的工作流程。Nstdata Crawl 属于网络获取阶段，而不属于合成生成或商业事实的自动验证。 训练、检索和实时网络数据 之间的区别有助于防止将训练数据决策误认为是一种新鲜度策略。

每个类别包括的内容——及其标签未能证明的内容

真实网络数据是从网络来源获取的内容，而合成数据是生成或构建的，而不仅仅是在该来源观察到的。“真实”描述获取来源，而不是声明是否正确或是否由人撰写。网站可能包含生成的副本、不准确的声明、重复的材料和对抗性指令。

合成示例可以来自模拟器、统计生成器、语言模型或经过许可的种子材料的转换。这些机制有所不同。具有已知参数的确定性仿真不等同于从提示生成答案的模型。即使措辞是新的，释义也会从其种子中继承重要的依赖关系。

至少保持三种来源状态：获取的源材料、生成的材料以及混合或转换的材料。不要默默地将重写的源文档转换为没有来源的合成记录。原始来源、其权限以及转换仍然与审查和删除相关。

研究调查合成数据的最佳实践与经验教训强调在评估生成数据集时的真实性、保真度和偏见。实际含义是测试这些特性，而不是假设生成器提供这些特性。

在选择数据策略之前比较六个维度

有用的比较是关于任务适配，而不是哪个来源可以生成更多示例。对两种来源应用相同的维度，并记录在哪里声明仍未得到验证。