| 详细信息 |
ChatGPT相较于微调小模型的优点 |
| 编辑： 来源：哈尔滨工业大学自然语言处理研究所 时间：2023/3/31 |
相较于微调小模型： 在 ChatGPT 之前，利用特定任务数据微调小模 型是近年来常用的自然语言处理范式。相较于这种微调范式，ChatGPT 通过大量指令激发的泛化能力在零样本和少样本场景下具有显著优势，在未 见过的任务上也可以有所表现。例如 ChatGPT 的前身 InstructGPT 指令 微调的指令集中 96% 以上是英语，此外只含有 20 种少量的其它语言（包含 西班牙语、法语、德语等）。然而在机器翻译任务上，我们使用指令集中未出 现的塞尔维亚语让 ChatGPT 进行翻译，仍然可以得到正确的翻译结果，这 是在微调小模型的范式下很难实现的泛化能力。 除此之外，作为大规模语言模型的天然优势使 ChatGPT 在创作型任务 上的表现尤为突出，甚至强于大多数普通人类。
|
| 【声明：转载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考，如有侵权，请联系删除。】 |
| 推荐信息 |
|
ChatGPT相较于其它大规模语言模型的优点
ChatGPT 使用了更多的多轮对话数据进行指令微调,这使其拥有了建模对话历史的能 力,能持续和用户交互,基于人类反馈 的强化学习调整模型的输出偏好
ChatGPT相较于普通聊天机器人的优点
ChatGPT类似于市场上其他聊天机器人(微软小冰,百度度秘等),可与人类自然交互 简单直接;ChatGPT 的回答更准确, 答案更流畅,能进行更细致的推理,能完成更多的任务
ChatGPT 的未来技术发展方向
无法产生本应产生的正确回复; 对于输入措辞比较敏感;生成的回复通常过于冗长;其模型过于庞大使用成本过高;减少人类反馈信息的 RLAIF
ChatGPT 插件发布带来的十大关注点
定义大模型的toC平台商业模式;开放 API 标准;未来应用内又可反向嵌入 ChatGPT;知识更新问题被解决;很大程度解决准确性问题
ChatGPT的未来改进方向
ChatGPT虽然对话能力强,但是在数理计算对话中容易出现一本正经胡说八道的情况,ChatGPT很强大,但其模型大小和使用成本也让很多人望而却步
ChatGPT的局限有哪些
ChatGPT无法处理复杂冗长或者特别专业的语言结构;ChatGPT需要非常大量的算力;ChatGPT还没法在线的把新知识纳入其中;ChatGPT仍然是黑盒模型
ChatGPT的训练过程分为三个阶段
训练奖励模型通过人工标注训练数据 (约33K个数据) 来训练回报模型;采用PPO强化学习来优化策略将在线学习转化为离线学习靠奖励打分来更新预训练模型参数
读文档解惑：DocsGPT，https://docsgpt.arc53.com/
DocsGPT 提出基于产品的某个版本写个 xx 示例的要求，让文档变成一个更贴近用户的好文档，让 GPT 帮你解答用户的困惑 |
| 智能运输机器人 |
| AGV无人运输机器人-料箱版 |
| AGV无人运输机器人-标准版 |
| AGV无人运输机器人-料箱版（钣金材质） |
| AGV无人运输机器人-货架版（钣金材质） |
| AGV无人运输机器人-货架版（亮面不锈钢材质） |
| AGV无人运输机器人-开放版 |
| 行业动态 |
