特斯拉和SpaceX的创始人埃隆·马斯克在与Stagwell董事会主席马克·佩恩的直播对话中提出，人工智能训练所依赖的现实世界数据几乎已经消耗殆尽。马斯克表示：“我们现在几乎已经用尽了所有可用的人类知识数据。这一现象基本上在去年就发生了。”
这一观点与前OpenAI首席科学家伊利亚·苏茨克弗的看法相呼应。苏茨克弗在去年12月的NeurIPS会议上也指出，AI行业已经达到了“数据峰值”，未来缺乏足够的数据将迫使AI模型的开发方式发生根本性的改变。马斯克进一步阐述说，现实世界数据的“枯竭”已成为一种明显的趋势，当前所面临的最大挑战就是如何获取新的数据来支持人工智能技术的持续进步。
面对这一挑战，马斯克提出了一种解决方案——合成数据。合成数据是指通过人工智能模型自主生成的数据，而不是从现实世界中收集的传统数据。马斯克认为，通过AI自我生成的训练数据可以有效补充现实世界数据的不足，并让AI通过自我学习和自我评估不断优化。这一观点得到了多个科技公司和AI专家的认可。
如今，许多知名科技公司，如微软、Meta、OpenAI和Anthropic等，已经开始采用合成数据来训练其主要的AI模型。根据Gartner的预测，到2024年，约60%的人工智能和数据分析项目将使用合成数据。这一趋势反映出合成数据在AI开发中的重要性日益提升，尤其是在面对现实世界数据难以获取和成本高昂的情况下，合成数据成为了开发者们的一种可行选择。
合成数据的一个重要优势是能够显著降低开发成本。例如，AI初创公司Writer表示，其Palmyra X 004模型几乎完全依赖合成数据进行开发，开发成本仅为70万美元。相比之下，OpenAI等大规模AI模型的开发成本则高达460万美元。由此可见，合成数据在减少资金投入方面展现出了巨大的潜力，尤其是在资金有限的初创公司中，其成本优势更加明显。
然而，合成数据也并非没有风险。研究表明，使用合成数据训练模型可能会导致性能下降，输出结果缺乏创新性，甚至可能变得更加偏颇。因为合成数据是由AI模型自己生成的，如果这些数据存在偏见或局限性，那么最终训练出的模型也可能继承这些缺点，从而影响其功能性和可靠性。尤其是当合成数据存在质量问题时，模型的泛化能力可能受到影响，导致其在实际应用中的表现不如预期。
此外，合成数据的质量控制也成为了一个亟待解决的问题。如果AI系统在生成数据时无法有效避免自身偏差，那么最终的输出可能会出现较大的误差，甚至影响决策过程的公平性。因此，在使用合成数据的同时，如何确保数据的多样性和准确性，成为了技术开发者和研究者需要不断关注和优化的关键问题。
