详细信息 位置: 首页 >> gpt人工智能  
 

ChatGPT 的未来技术发展方向

编辑:创泽      来源:哈尔滨工业大学自然语言处理研究所      时间:2023/3/30
 

虽然 ChatGPT 目前已经取得了非常喜人的成果,但是未来仍然有诸多 可以研究的方向。

1.训练过程中 一些谨慎的训练策略导致模型无法产生本应产生的正确回复;监督学 习训练过程中错误的引导导致模型更倾向于生成标注人员所知道的内 容而不是模型真实知道的。

2. ChatGPT 对于输入措辞比较敏感

3. ChatGPT 生成的回复通常过于冗长,并且存在过度使用某些短语的问 题

4. 无法避免对有害请求作出回复或对问题表现出偏见。

5. ChatGPT 虽然很强大,但是其模型过于庞大使用成本过高,何对模型进行瘦身也是一个未来的发展方向

6.减少人类反馈信息的 RLAIF 也是最近被提出的一个全新的观点。


 
【声明:转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考,如有侵权,请联系删除。】
 
推荐信息
定义大模型的toC平台商业模式;开放 API 标准;未来应用内又可反向嵌入 ChatGPT;知识更新问题被解决;很大程度解决准确性问题
ChatGPT虽然对话能力强,但是在数理计算对话中容易出现一本正经胡说八道的情况,ChatGPT很强大,但其模型大小和使用成本也让很多人望而却步
ChatGPT无法处理复杂冗长或者特别专业的语言结构;ChatGPT需要非常大量的算力;ChatGPT还没法在线的把新知识纳入其中;ChatGPT仍然是黑盒模型
训练奖励模型通过人工标注训练数据 (约33K个数据) 来训练回报模型;采用PPO强化学习来优化策略将在线学习转化为离线学习靠奖励打分来更新预训练模型参数
DocsGPT 提出基于产品的某个版本写个 xx 示例的要求,让文档变成一个更贴近用户的好文档,让 GPT 帮你解答用户的困惑
ArxivGPT能帮你读论文,在一些地方给出注解,这个项目是基于上面的chatgpt-google-extension二次开发而来,以生成论文的读后感,提高读论文的效率
chatgpt-google-extension项目基于 ChatGPT 强化了 Google 搜索能力,它的使用也很简单,装个 Chrome 或者 Firefox 插件就能玩了
openai-translator的翻译更贴近人类的语言使用习惯,有了 ChatGPT 的加成不仅能翻译,还能帮你润色文字,有浏览器插件版,还有桌面版本
 

gpt人工智能

 
 

迎宾机器人在楼梯处迎接客人
 
新动态