大模型的缩放法则和涌现性

大模型的缩放法则和涌现性与 AGI 的发展息息相关。缩放法则是指随着模型规模逐步放大， 任务的表现越来越好；涌现性是指随着模型的规模增长，当规模跨过一定阈值， 对某类任务的效果会出现突然的性能增长，涌现出新的能力。当全部人类的知 识被存储在大模型中，这些知识 被动态连接起来时，其所具有的 智能远超人们预期。

AGI 将实现从“数据飞轮”到“智慧飞轮”的演进，最终迈向人机共智。现有AI 体系主要基于数据飞轮，AGI 催生了新的研究范式——智慧飞轮，通过强化 学习和人类反馈不断解锁基模型新的能力，以更高效地解决海量的开放式任务。

数据飞轮：现有 AI 体系主要从前端获取大量数据并进行人工标注，通过更新后的模型反馈到前端，以获取高质量数据，但是研发时间长和成本高。

智慧飞轮：AGI 体系则将实现人与模 型的互动，基模型将不断理解人的意 图以解锁更多技能，并能实现自动化 标注，成本约 AI 体系的 1%，有助于 推动数据进行快速迭代与优化，以输 出更高质量的智慧内容。