场景模型持续简化以提升训练速度，控制成本满足商业化应用需求

大模型微调成本和维护成本过高。目前大模型厂商在用户需求较大时，微调成本和模 型维护成本会相当高，若仅提供推理服务，成本可以大幅降低但是模型精度会受到较大牺 牲，从而降低大模型的竞争力。并且 AI 项目实施通常会把模型部署到终端，对算力的要求 非常高，因此国内外大厂及研究院所均致力于对预训练模型进行“瘦身”。

模型蒸馏与迁移学习成为 AI 领域研究新方向，可大幅优化终端模型计算的时效性并 节约算力成本。“知识蒸馏”概念可类比于学校中的教学行为，可有效地压缩预训练模型的 大小。知识蒸馏包含已训练的 Teacher Model 和待训练的 Student Model，通过知识蒸馏和 迁移学习，学生网络可以拥有与教师网络相似和相近的计算性能。

知识蒸馏可以在基于高度复杂的大模型训练基础上，提升细分任务小模型的计算精 度，同时也可以有效降低模型延迟，并且压缩网络参数。基于知识蒸馏思想改进 BERT 预 训练模型，实现模型的简化和速度的提升。Distilled BERT 模型直接将 BERT 的部分参数作 为初始化，模型参数只有 BERT 的约 40%，但速度快提升 60%，同时保留了 97%的语言理 解能力。我们认为在人工智能通往商业化应用的道路上，早期专注于增加数据量、计算能 力或者训练过程的优化方式可能不再适用，未来各大厂商需要计算与预测性能之间做出权 衡，探索如何利用更少的数据与计算资源，帮助模型实现性能提升