|
|
 |
| 详细信息 | 位置： 首页 >> 解决方案 |
基于机器人能力的语言SayCan 做我能做 |
| 编辑：创泽 来源：CAAI认知系统与信息处理专委会 时间：2023/6/19 |
大型语言模型可以编码关于世界的大量语义知识，这些知识对于机器人来说非常有用，它们的目标是执行用自然语言表达的高级、临时扩展的指令，然而，大语言模型在机器人操作上的应用还存在如下问题： 1)语言模型的一个重要弱点是缺乏现实世界的经验。 2)难在给定的实现中利用它们进行决策制定。 3)大语言模型不以物理世界为基础，不会观测到他们产生的结果对任何物理过程的影响。 1、研究方法 通过预训练技能来提供真实世界的基础，这些技能用于约束模型，以提出既可行又适合上下文的自然语言动作。机器人可以充当语言模型的“手和眼睛”，而语言模型则提供有关任务的高级语义知识。展示了如何将低级技能与大型语言模型相结合，以便语言模型提供有关执行复杂和临时扩展指令的过程的高级知识，而与这些技能相关的价值函数提供将这些知识连接到特定物理环境所必需的基础。
2、研究结论 本文提出了SayCan，一种能够利用和巩固大型语言模型中丰富的知识来完成具体化任务的方法。对于现实世界的基础，使用基于RL的价值函数来提供世界上可能存在的个体技能，并使用文本标签作为这些技能的潜在响应，由语言模型进行评分。本文在许多现实世界的机器人任务中评估了这种方法，这些任务涉及一个移动机械手机器人在真实的厨房中完成大量的长期自然语言指令。 所提出框架的一个限制是LLM只能通过所选技能接收来自环境的反馈，通过成功检测器、场景描述、直接视觉反馈或视觉语言模型可能进一步提高模型的准确率。
|
| 【声明：转载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述，文章内容仅供参考，如有侵权，请联系删除。】 |
| 推荐信息 |
|
SensLoc方法,基于移动电话上的多模态传感器实现长期视觉定位,利用附加移动传感器（主要是GPS,指南针和重力传感器）来辅助图像检索和姿态估计
柔性传感器可以在动态和不规则表面上形成紧密附着,大大减少外界刺激的干扰,实现高保真,高精度的数据采集
人们将机器人拟人化,包括假定性别,即使机器人不是类似人类或动物形态的,人类依靠物理线索来投射类人机器人的性别
每个手指都包含两个摄像头,可以沿着手指的正面和侧面收集触觉数据,抓取器可以对物体进行包裹着抓取,在一次抓取中提取大量丰富的触觉数据
使用电机扭矩控制操纵人形机器人腿部的运动,让机器人落脚力度保持轻缓;特斯拉为人形机器人添加了环境发现与记忆的能力
基于神经系统分层感觉运动控制器的框架通过布置高密度触觉传感器阵列在机器人手的表面,获取感知对象的接触状态,包括接触力,压力分布和表面形状等信息
人造皮肤可以同时模仿自然皮肤的感官反馈和机械特性,通过对材料性能,器件结构和系统架构的合理设计和工程化,开发了一种单片软性假肢电子皮肤
机器人的运动控制系统也根据动物和人类神经科学的经验教训进行了设计,设计具有适应性,感知性和与环境交互的机器人控制系统提供了一个独特的平台
|
解决方案 |
迎宾机器人在楼梯处迎接客人 |
| 新动态 |
