ChatGPT核心壁垒:算力、数据和工程能力

ChatGPT 的研发主要分为预训练（Pre-train）和精调（Fine-tune）两个环节。 其中：1）预训练：使用无标注、大规模的数据集，对模型进行预训练。2）精调：让 模型与专业的标注人员、AI 训练师进行交互，推动模型逐步学习人类通用的表达方 式和价值观，从而终生成符合人类期望的回答。如果将 AI 大模型类比于学生，那么模型的预训练就是通过广泛的通识性阅读，使学生具备初步 的文字理解能力；模型的精调就是“教学”的过程，其中使用出色教材的效果往往胜 过大量普通书籍。

从 ChatGPT 的主要技术环节，分析其核心壁垒所在：

1）算力资源：据 TrendForce 数据，以英伟达 A100 口径计算，ChatGPT 需要 2 万 块 GPU 来处理训练数据，随着 ChatGPT 的商用化，需要的 GPU 数量可能超过 3 万块。 目前国内 GPU 集群的存量资源有限，叠加美实体清单影响G端芯片采购受阻，导致对 于国内大模型厂商而言，模型的推理、部署、应用等环节的算力资源紧缺。但从长期 来看，国内 AI 大模型算力紧缺的问题有望得到缓解。从市场角度，算力资源本质上 是自由流通的商品，相较于模型技术、工程能力等硬性壁垒更易突破；从技术层面看， 大模型的研发、应用环节所需算力未来均有优化的空间。4 月 13 日微软推出大模型 训练工具 DeepSpeed-Chat，其中包括开源的 RLHF 框架，能基于单个 GPU 训练超过 130 亿参数的模型，训练速度提升 15 倍以上，垂类企业应用大模型的算力门槛有望大幅降低。

2）参数量：一般认为 1000 亿的参数量J是语言类大模型产生“涌现”现象的门 槛,GPT3 的训练参数量达 1750 亿，GPT4 参数量未公布。对于国内大模型厂商，尤其 是拥有丰富自有数据资源的互联网大厂而言，1000 亿的参数量J并非难以达到。目 前百度、华为、阿里等头部企业均已推出或发布千亿参数以上的 AI 大模型，但在性 能上仍和 ChatGPT 有较大差距。

3）数据集的质量：GPT3 的预训练数据集来自于 common crawl（网页爬虫聚合类 数据平台）、维基百科等标准化程度较G的公开数据库。目前国内 AI 大模型的预训练 数据集也以公开网页爬取的数据为主，再结合公司自有的行业数据进行训练。问题在 于，相较于英文，目前互联网上中文内容的规模和质量均存在较大差距。因此，国内 AI 大模型的预训练数据集中也以英文数据为主，使得在中文为主的用户使用环境中 产生较多的适配性问题。

目前来看解决的方法包括：一是建立标准化、G质量的中文 语料库；二是加强 AI 大模型的翻译能力，使其生成的结果更符合中文用户的使用习 惯。

4）工程能力：包括预训练、精调等训练环节的执行能力和方法等，需要研发团 队通过长时间的经验积累、不断试错，再对模型结果进行调优，这也是 OpenAI 的 ChatGPT 目前于国内、乃至谷歌 BERT 等其他海外头部大模型的核心壁垒之一。 例如在精调过程中，OpenAI 使用J少量的G质量标注数据，显著提升了 GPT-3.5 的 应答能力。此外，中文和英文数据集在规模、质量等方面存在差距，这也需要额外的 工程能力去弥补，使得国产 AI 大模型更适用于中文的使用环境。