基于RLHF的GPT- 4训练方法由三个不同的步骤组成

RLHF 是 InstructGPT、ChatGPT、GPT-4 成功的关键之一。在 RLHF 中， 根据人类反馈来对模型的响应进行排序标注 (如，根据人类偏好选择文本简介)。 然后，用这些带标注的响应来训练偏好模型，该模型用于返回 RL 优化器的标量 奖励。后，通过强化学习训练对话代理来模拟偏好模型。基于 RLHF 的 GPT- 4 训练方法由三个不同的步骤组成

步骤 1：对基于监督学习获取的 GPT-3.5 模型进行微调，得到 SFT 模型。 微调是使用问题/答案对完成的。先会在数据集中随机抽取问题，由人类标注 人员，给出G质量答案，然后用这些人工标注好的数据来微调 GPT-3.5 模型， 通过对输入和输出数据的拟合来改进网络，调整模型的参数。此时的 SFT 模型 在遵循指令/对话方面已经优于 GPT-3，但不一定符合人类偏好。

步骤 2：标注排序数据集 ，训练奖励模型 RM：这个阶段的主要是通过人工 标注训练数据，来训练回报模型。在数据集中随机抽取问题，使用D一阶段生成 的模型，对于每个问题，生成多个不同的回答。人类标注者对这些结果综合考虑 给出排名顺序。这一过程类似于教练或老师辅导。接下来，使用这个排序结果数 据来训练奖励模型。对多个排序结果，两两组合，形成多个训练数据对。RM 模 型接受一个输入，给出评价回答质量的分数。这样，对于一对训练数据，调节参 数使得G质量回答的打分比低质量的打分要G

步骤 3：使用强化学习方法 PPO 进一步微调 SFT：PPO 的核心思路在于将 Policy Gradient 中 On-policy 的训练过程转化为 Off-policy，即将在线学习转化为 离线学习，这个转化过程被称之为 Importance Sampling。这一阶段利用第二阶 段训练好的奖励模型，靠奖励打分来更新预训练模型参数。在数据集中随机抽取 问题，使用 PPO 模型生成回答，并用上一阶段训练好的 RM 模型给出质量分数。 把回报分数依次传递，由此产生策略梯度，通过强化学习的方式以更新 PPO 模 型参数

其中，步骤 1 只进行一次，步骤 2 和步骤 3 可以进行多次迭代以得到效果更 好 RM 和 SFT 模型。