训练方法：在 InstructGPT 方法基础上增加新的奖励模型

预训练之后，GPT-4 采用了与 InstructGPT 同样的方法进行 RLHF。OpenAI 先从人类标注员处收集演示数据（给定一个输入，演示模型应该如何响应），并对模型的输出数据进行排名（给定一个输入和几个输出，将输出从好到差进行排序）。

然后执行以下步骤：

1）利用收集到的人工标注演示数据，使用监督学习（SFT）来模拟演示中的行为以微调 GPT-4；

2）使用收集到的排名数据来训练奖励模型（RM），该模型预测标注员对给定输出 的平均偏好；

3）使用奖励模型和强化学习（特别是 PPO 算法），优化 GPT-4 SFT 模型。