基于RLHF的算法优化,助力GPT模型革新

Transformer架构由谷歌 于2017年提出，架构核 心为Self-Attention自注 意力机制

1、RNN采用从前往后收集信息的线性序列结构，导致在大规模并行下的计算能力不足； Transformer架构不存在序列依赖，使其在大规模并行计算下的能力明显优于RNN。

2、CNN模型通过卷积层捕获远距离特征，受卷积核限制；Transformer应用位置函数进行 编码，从而在集成信息过程中自然地建立单词间的联系，长距离特征捕获能力更强。

综合来看，Transformer不论是在执行任务能力还是运行速度上，均是更好的选择

基于RLHF的算法应用基于人类反馈强化学习模式三步法训练模型

1、训练监督策略模型：从数据集中随机抽取问题，由工程师对预期的输出结果进行标注，以 此在GPT-3.5基础上对模型进行微调。

2、奖励模型：从微调后的模型中随机抽取问题并生成几个输出结果，由工程师对结 果按质量从G到低排序，将排序后的结果用于奖励模型训练

3、近端策略优化PPO强 化学习：通过奖励模型产生优的输出结果后，将该结果对模型参数进行迭代 与优化，并不断循环反复这一过程，终得到G质量的ChatGPT模型。

推理能力的引入： 在基于大量代码训练构建的Codex模型上引入了推理能力