ChatGPT革命性的突破之处：通用人工智能

从前沿的研究和应用方向来看，AI（人工智能）主要有 NLP（自然语言处理）、CV （计算机视觉）两大L域，分别聚焦于对自然语言和图像进行分析、处理。其中， ChatGPT 及其背后的 GPT 系列模型带来的影响主要集中于 NLP L域。因此，我们通过 复盘过去 10 年 NLP L域的技术发展，来解答一个关键的问题：从技术角度看，ChatGPT 究竟是不是革命性的突破？

从技术角度复盘过去 10 年的 AI 发展历程，有四个重要的时间节点：

1）2017 年 Transformer 统一 NLP 研究范式。谷歌在著名论文《Attention Is All You Need》中推出 Transformer 架构，通过引入“自注意力”机制，J大拓展了 AI 模型在不同任务中的可迁移性。该论文发布 5 年内被引用超过 3.8 万次，统一了 NLP 的研究范式，后续也被广泛跨L域应用于 CV 场景。

2）2018 年谷歌、OpenAI 路线之争：完形填空 vs 文本生成。2018 年，谷歌、 OpenAI 基于 Transformer 框架，分别推出了 AI 模型 BERT 和 GPT-1。通俗来讲，二者 技术路线主要的区别在于：预训练任务中，谷歌 BERT 主要使用“完形填空”的方 式，即随机遮盖一些文字，让 AI 模型通过上下文理解进行补全；而 GPT 则主要使用 “文本生成”的方式，即通过完全遮盖训练语料中的“下文”，训练模型基于“上文”， 逐字逐句地生成文本。从应用结果来看，谷歌 BERT 在文本分类、关键词提取等“自 然语言理解”类任务中的表现好于初代 GPT。而后续随着模型参数量的指数J提升， GPT 模型在翻译、写作、问答等“自然语言生成”类任务中的优势开始逐步显现。

3）2020 年 GPT3 优势初显，千亿参数量催生“涌现”效应。2020 年，OpenAI 推 出新的 AI 大模型 GPT-3，其参数量G达 1750 亿，相较上一代 GPT-2 的 15 亿G出一 百余倍。2020 年后，AI 大模型的“涌现”效应得到业内的广泛关注，即当参数量G 于特定量J后（一般认为千亿J别是门槛），再基于模型结构、训练方法的调整，AI 大模型的特定性能会出现指数J的提升，如能够准确回答未经过训练的问题。此后， 谷歌、Meta 等相继推出千亿参数大模型，而 GPT-3 的技术路径优势日益凸显。

4）2022-2023 年：ChatGPT 横空出世，技术路径再统一。2022 年 11 月，OpenAI 基于新 AI 大模型 GPT-3.5，使用来自人类反馈的强化学习（RLHF）进行精调，发布 了聊天机器人 ChatGPT。经过广大 B 端、C 端用户的大规模测试，ChatGPT 在文本生 成场景中的通用性远超过谷歌 BARD 等同类应用。2023 年 3 月，OpenAI 发布 GPT-4， 使得 ChatGPT 的问答深度、广度，以及多模态识别能力进一步增强。至此，OpenAI 的 GPT 系列已全面于谷歌、Meta 等竞争对手，其技术路径的先进性得到充分验证。