详细信息 |
GPT-4 采用了与 InstructGPT同样的方法进行 RLHF,优化 GPT-4 SFT 模型 |
编辑: 来源:华泰证券 时间:2023/3/28 |
预训练之后,GPT-4 采用了与 InstructGPT 同样的方法进行 RLHF。OpenAI 先从人类 标注员处收集演示数据(给定一个输入,演示模型应该如何响应),并对模型的输出数据进 行排名(给定一个输入和几个输出,将输出从好到差进行排序)。然后执行以下步骤: 1)利用收集到的人工标注演示数据,使用监督学习(SFT)来模拟演示中的行为以微调 GPT-4;2)使用收集到的排名数据来训练奖励模型(RM),该模型预测标注员对给定输出 的平均偏好;3)使用奖励模型和强化学习(特别是 PPO 算法),优化 GPT-4 SFT 模型。 基于规则的奖励模型以更细的粒度进一步引导模型。RLHF 微调后的模型仍然会不时出现 人类不想看到的行为。因此,OpenAI 在 RLHF 基础上增加基于规则的奖励模型(RBRMs)。 RBRM 是一组 zero-shot 的 GPT-4 分类器(classifier)。分类器在 RLHF 微调期间针对正确 行为(例如拒J生成有害内容或不拒J无害请求),向 GPT-4 策略模型提供额外的奖励信号。 RBRM 有三个输入:提示(可选)、策略模型的输出和人类编写的用于如何评估输出的规则。 在安全相关的训练提示集上,奖励 GPT-4 拒J有害内容请求,例如非法建议;同样奖励 GPT-4 没有拒J对安全和可回答问题的请求。
|
【声明:转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考,如有侵权,请联系删除。】 |
推荐信息 |
GPT-4 在大多数语言上的结果都优于 GPT 3.5 和现有语言模型
GPT-4 在大多数语言上的结果都优于 GPT 3.5 和现有语言模型的英语语言性能,如拉脱维亚语,威尔士语和斯瓦希里语等人数较低的语言
GPT-4 API 已开放等待列表(waitlist),API 价格提升明显
GPT-4-8k 定价为每 1k 提示 token 0.03 美元,每 1k 完成 token 0.06 美元;默认速率限制 为每分钟 40k 个 token,每分钟 200 个请求
OpenAI 搭建了开源 OpenAI Evals 模型评估框架
OpenAI Evals与现有的基准测试兼容,并可用于跟踪部署中的 模型性能;未来OpenAI计划逐步增加测试基准的多样性,以代表更广泛的故障模式和更难的任务集
ChatGPT的商业模式-商业化尝试 会员制+按次收费为主
免费生成5张图后,5.5元25张图,24.9元125张图,或会员制,99元/月660张图,299元/月2160张图,智能写作会员198元/月,视频创作会员1698元/月
ChatGPT训练成本测算-总成本持续提升同级别参数消耗量将显著下降
随着数据量快速膨胀,训练数据集需求越来越大,数据存储成本也将相应提升,单次完整训练价格400-1000万美元/次,数据成本占比20%-25%
AIGC发展历程:文本生成技术较成熟,图片视频生成值得期待
早期萌芽阶段:受限于科技水平AIGC仅限于小范围实验;沉淀积累阶段:AIGC从实验性转向实用性;快速发展阶段: 深度学习算法不断迭代人工智能生成内容百花齐放效果逐渐逼真
每一轮人机交互的变革以及带来产业级投资机会
手势追踪,Insideout,Outside-in,眼球追踪等,交互方式多元化,沉浸感强;人机共生,文字,音频,视频,3D,策略等交互模式融合,智能化程度显著提升
ChatGPT采用RLHF学习机制,有哪些优点
GPT-3采用无监督学习机制,优点在于无需人工进行数据标注,可以节省模型训练成本;ChatGPT采用RLHF学习机制属于强化学习,更符合人类偏好 |
智能运输机器人 |
AGV无人运输机器人-料箱版 |
AGV无人运输机器人-标准版 |
AGV无人运输机器人-料箱版(钣金材质) |
AGV无人运输机器人-货架版(钣金材质) |
AGV无人运输机器人-货架版(亮面不锈钢材质) |
AGV无人运输机器人-开放版 |
行业动态 |
咨询热线:4006-935-088 / 4006-937-088
客服热线:
4008-128-728
版权所有 @ 创泽智能机器人集团股份有限公司 鲁ICP备18039973号-2 运营中心 / 北京·清华科技园九号楼 生产中心 / 山东省日照市开发区太原路71号 |