AI大模型需要什么样的数据集

人工智能发展的突破得益于G质量数据的发展。例如，大型语言模型的新进展依赖于更 G质量、更丰富的训练数据集：与 GPT-2 相比，GPT-3 对模型架构只进行了微小的修改， 但花费精力收集更大的G质量数据集进行训练。ChatGPT 与 GPT-3 的模型架构类似，并使 用 RLHF（来自人工反馈过程的强化学习）来生成用于微调的G质量标记数据。

基于此，人工智能L域的权威学者吴承恩发起了“以数据为中心的 AI”运动，即在模型相 对固定的前提下，通过提升数据的质量和数量来提升整个模型的训练效果。提升数据集质 量的方法主要有：添加数据标记、清洗和转换数据、数据缩减、增加数据多样性、持续监 测和维护数据等。因此，我们认为未来数据成本在大模型开发中的成本占比或将提升，主 要包括数据采集，清洗，标注等成本。

我们认为 AI 大模型需要G质量、大规模、多样性的数据集。

1）G质量：G质量数据集能够提G模型精度与可解释性，并且减少收敛到优解的时间， 即减少训练时长。

2）大规模：OpenAI 在《Scaling Laws for Neural Language Models》中提出 LLM 模型所 遵循的“伸缩法则”（scaling law），即d立增加训练数据量、模型参数规模或者延长模型训 练时间，预训练模型的效果会越来越好。

3）丰富性：数据丰富性能够提G模型泛化能力，过于单一的数据会非常容易让模型过于拟 合训练数据。