在现实世界中利用自然语言进行人机协作

于红博

摘要: 我们憧憬着有一天，自主机器人可以作为助手与人类合作，完成在现实世界中复杂的任务。这一愿景包括机器人具备使用人类自然语言与其合作者进行沟通的能力。传统的交互式任务学习系统具有一定的这种能力，但它们能理解的语言非常有限。大型语言模型（LLMs）的出现为大大提高机器人的语言理解能力提供了机会，然而将LLMs的语言能力与在现实物理世界中运作的机器人整合起来是一个具有挑战性的问题。 在本章中，我们首先简要回顾了一些与人类密切合作的商业机器人产品，并讨论它们如何在具有健全语言能力的情况下成为更好的合作者。然后，我们探讨了一个具有认知代理控制物理机器人核心的人工智能系统如何与人类和LLM进行交互，并通过经验积累情境知识，这可能是实现这一愿景的一种可能途径。我们重点关注机器人理解自然语言的三个具体挑战，并针对每一个提出了一个简单的概念验证实验，使用ChatGPT。最后，我们讨论将这些简单实验转化为一个运行系统所需的条件，其中LLM辅助的语言理解成为整合机器人助手的一部分，使用语言与人类合作。

更新时间: 2025-09-19 17:12:21

领域: cs.RO,cs.AI,cs.CL

下载: http://arxiv.org/abs/2508.11759v2