GPT-4 采用了与 InstructGPT同样的方法进行 RLHF，优化 GPT-4 SFT 模型

预训练之后，GPT-4 采用了与 InstructGPT 同样的方法进行 RLHF。OpenAI 首先从人类 标注员处收集演示数据（给定一个输入，演示模型应该如何响应），并对模型的输出数据进 行排名（给定一个输入和几个输出，将输出从最好到最差进行排序）。然后执行以下步骤： 1）利用收集到的人工标注演示数据，使用监督学习（SFT）来模拟演示中的行为以微调 GPT-4；2）使用收集到的排名数据来训练奖励模型（RM），该模型预测标注员对给定输出 的平均偏好；3）使用奖励模型和强化学习（特别是 PPO 算法），优化 GPT-4 SFT 模型。

基于规则的奖励模型以更细的粒度进一步引导模型。RLHF 微调后的模型仍然会不时出现 人类不想看到的行为。因此，OpenAI 在 RLHF 基础上增加基于规则的奖励模型（RBRMs）。 RBRM 是一组 zero-shot 的 GPT-4 分类器（classifier）。分类器在 RLHF 微调期间针对正确 行为（例如拒绝生成有害内容或不拒绝无害请求），向 GPT-4 策略模型提供额外的奖励信号。 RBRM 有三个输入：提示（可选）、策略模型的输出和人类编写的用于如何评估输出的规则。 在安全相关的训练提示集上，奖励 GPT-4 拒绝有害内容请求，例如非法建议；同样奖励 GPT-4 没有拒绝对安全和可回答问题的请求。