机器人从大型语言模型和视觉-语言模型中学习各种操作

大型语言模型（LLM）被证明拥有丰富的可操作知识，可以以推理和计划的形式提取用于机器人操作。尽管取得了进展，但大多数仍然依靠预定义的运动基元来执行与环境的物理交互，这仍然是一个主要瓶颈。

在这项工作中，研究的目标是合成机器人轨迹，即密集的6-DoF末端执行器航点序列，用于给定开放指令集和开放对象集的各种操作任务。LLM擅长推断自由形式的语言教学的提供和约束来实现这一点。更重要的是，通过利用他们的代码编写能力，可以与视觉语言模型（VLM）交互，以组合3D价值图，将知识置于代理的观察空间中。然后将组合的值图用于基于模型的计划框架中，以零镜头合成闭环机器人轨迹，并具有对动态扰动的鲁棒性。

给定环境的RGB-D观察和语言指令，LLM生成与VLM交互的代码，以生成一系列基于机器人观察空间的3D提供图和约束图（统称为值图）（a）组合的值图用作运动规划器的目标函数，以合成机器人操作的轨迹（b）整个过程不涉及任何额外的训练。

展示了所提出的框架如何通过有效地学习涉及接触丰富交互场景的动态模型来在线测试。在模拟和真实机器人环境中对所提出的方法进行了大规模研究，展示了以自由形式的自然语言执行30多种日常操作任务的能力。

估计物理特性：给定两个未知质量的块，机器人的任务是使用可用的工具进行物理实验，以确定哪个块更重。

行为常识推理：在机器人设置桌子的任务中，用户可以指定行为偏好，例如“我是左撇子”，这需要机器人在任务的上下文中理解其含义。

细粒度语言校正：对于需要高精度的任务，例如“用盖子盖住茶壶”，用户可以向机器人发出精确的指令，例如“您离开了1cm”。

多步可视化程序：给定一个任务“将抽屉精确地打开一半”，由于对象模型不可用，信息不足，机器人可以根据视觉反馈提出多步骤操作策略，首先在记录手柄位移的同时完全打开抽屉，然后将其关闭回中点以满足要求。