基于机器人能力的语言SayCan 做我能做

大型语言模型可以编码关于世界的大量语义知识，这些知识对于机器人来说非常有用，它们的目标是执行用自然语言表达的GJ、临时扩展的指令，然而，大语言模型在机器人操作上的应用还存在如下问题：

1)语言模型的一个重要弱点是缺乏现实世界的经验。

2)难在给定的实现中利用它们进行决策制定。

3)大语言模型不以物理世界为基础，不会观测到他们产生的结果对任何物理过程的影响。

1、研究方法

通过预训练技能来提供真实世界的基础，这些技能用于约束模型，以提出既可行又适合上下文的自然语言动作。机器人可以充当语言模型的“手和眼睛”，而语言模型则提供有关任务的GJ语义知识。展示了如何将低J技能与大型语言模型相结合，以便语言模型提供有关执行复杂和临时扩展指令的过程的GJ知识，而与这些技能相关的价值函数提供将这些知识连接到特定物理环境所必需的基础。

2、研究结论

本文提出了SayCan，一种能够利用和巩固大型语言模型中丰富的知识来完成具体化任务的方法。对于现实世界的基础，使用基于RL的价值函数来提供世界上可能存在的个体技能，并使用文本标签作为这些技能的潜在响应，由语言模型进行评分。本文在许多现实世界的机器人任务中评估了这种方法，这些任务涉及一个移动机械手机器人在真实的厨房中完成大量的长期自然语言指令。 所提出框架的一个限制是LLM只能通过所选技能接收来自环境的反馈，通过成功检测器、场景描述、直接视觉反馈或视觉语言模型可能进一步提G模型的准确率。