|
详细信息 | 位置: 首页 >> gpt人工智能 |
GPT-4 采用了与 InstructGPT同样的方法进行 RLHF,优化 GPT-4 SFT 模型 |
编辑:创泽 来源:华泰证券 时间:2023/3/28 |
预训练之后,GPT-4 采用了与 InstructGPT 同样的方法进行 RLHF。OpenAI 首先从人类 标注员处收集演示数据(给定一个输入,演示模型应该如何响应),并对模型的输出数据进 行排名(给定一个输入和几个输出,将输出从最好到最差进行排序)。然后执行以下步骤: 1)利用收集到的人工标注演示数据,使用监督学习(SFT)来模拟演示中的行为以微调 GPT-4;2)使用收集到的排名数据来训练奖励模型(RM),该模型预测标注员对给定输出 的平均偏好;3)使用奖励模型和强化学习(特别是 PPO 算法),优化 GPT-4 SFT 模型。 基于规则的奖励模型以更细的粒度进一步引导模型。RLHF 微调后的模型仍然会不时出现 人类不想看到的行为。因此,OpenAI 在 RLHF 基础上增加基于规则的奖励模型(RBRMs)。 RBRM 是一组 zero-shot 的 GPT-4 分类器(classifier)。分类器在 RLHF 微调期间针对正确 行为(例如拒绝生成有害内容或不拒绝无害请求),向 GPT-4 策略模型提供额外的奖励信号。 RBRM 有三个输入:提示(可选)、策略模型的输出和人类编写的用于如何评估输出的规则。 在安全相关的训练提示集上,奖励 GPT-4 拒绝有害内容请求,例如非法建议;同样奖励 GPT-4 没有拒绝对安全和可回答问题的请求。
|
【声明:转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考,如有侵权,请联系删除。】 |
推荐信息 |
GPT-4 在大多数语言上的结果都优于 GPT 3.5 和现有语言模型的英语语言性能,如拉脱维亚语,威尔士语和斯瓦希里语等人数较低的语言
GPT-4-8k 定价为每 1k 提示 token 0.03 美元,每 1k 完成 token 0.06 美元;默认速率限制 为每分钟 40k 个 token,每分钟 200 个请求
OpenAI Evals与现有的基准测试兼容,并可用于跟踪部署中的 模型性能;未来OpenAI计划逐步增加测试基准的多样性,以代表更广泛的故障模式和更难的任务集
免费生成5张图后,5.5元25张图,24.9元125张图,或会员制,99元/月660张图,299元/月2160张图,智能写作会员198元/月,视频创作会员1698元/月
随着数据量快速膨胀,训练数据集需求越来越大,数据存储成本也将相应提升,单次完整训练价格400-1000万美元/次,数据成本占比20%-25%
早期萌芽阶段:受限于科技水平AIGC仅限于小范围实验;沉淀积累阶段:AIGC从实验性转向实用性;快速发展阶段: 深度学习算法不断迭代人工智能生成内容百花齐放效果逐渐逼真
手势追踪,Insideout,Outside-in,眼球追踪等,交互方式多元化,沉浸感强;人机共生,文字,音频,视频,3D,策略等交互模式融合,智能化程度显著提升
GPT-3采用无监督学习机制,优点在于无需人工进行数据标注,可以节省模型训练成本;ChatGPT采用RLHF学习机制属于强化学习,更符合人类偏好
|
gpt人工智能 |
迎宾机器人在楼梯处迎接客人 |
新动态 |