ChatGPT的未来改进方向

1 减少人类反馈的RLAIF

2020年底， OpenAI前研究副总裁Dario A modei带着10名员工创办了一个人工智能公司 Anthropic。Anthropic 的创始团队成员， 大多为 OpenAI 的早期及核心员工， 参与过OpenAI的 GPT-3、多模态神经元、人类偏好的强化学习等。

CAI用人工智能反馈来代替人类对表达无害性的偏好， 即RLAIF， 人工智能根据一套constitution 原则来评价回复内容。

2 补足数理短板

ChatGPT虽然对话能力强， 但是在数理计算对话中容易出现一本正经胡说八道的情况。 计算机学家Stephen Wolfram 为这一问题提出了解决方案。 Stephen Wolfram 创造了的 Wolfram 语言和计算知识搜索引擎 Wolfram | A lpha， 其后台通过Mathematica实现。

ChatGPT 可以像人类使用 Wolfram|A lpha 一样， 与 Wolfram|A lpha “对 话”， Wolfram|A lpha 则会用其符号翻译能力将从 C hatGPT 获得的自然语言表达“翻译”为对 应的符号化计算语言。

3 ChatGPT的小型化

虽然ChatGPT很强大， 但其模型大小和使用成本也让很多人望而却步。

有三类模型压缩 (model compression) 可以降低模型的大小和成本。

第一种方法是量化 (quantization) ， 即降低单个权重的数值表示的精度。比如Tansformer从 FP32降到INT8对其精度影响不大。

第二种模型压缩方法是剪枝 (pruning) ， 即删除网络元素， 包括从单个权重(非结构化剪枝) 到 更高粒度的组件如权重矩阵的通道。这种方法在视觉和较小规模的语言模型中有效。

第三种模型压缩方法是稀疏化。例如奥地利科学技术研究所 (ISTA)提出的SparseGPT ( arxiv.org/pdf/2301.0077 ) 可以将 GPT 系列模型单次剪枝到 50% 的稀疏性， 而无需任何重新 训练。对 GPT- 175B 模型， 只需要使用单个 GPU 在几个小时内就能实现这种剪枝。