日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

タスク計画arXiv:2505.10872

REI-Bench: 曖昧な人間指示を身体性エージェントは理解できるか?

REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

シェア:XThreadsFacebookLINEはてブBluesky

人間の曖昧な指示がLLMベースのロボットタスク計画に与える影響を評価する初のベンチマークを提案し、曖昧さが成功率を最大36.9%低下させることを示した。また、タスク指向の文脈認識により指示を明確化する手法を提案し、最先端性能を達成した。

詳しい要約

1. どんなもの?

- 本研究は、人間の指示に含まれる曖昧な referring expressions (REs) が、LLM ベースのロボットタスク計画に与える影響を調べるもの。 - 実世界のユーザー(特に高齢者や子ども)の指示は曖昧であり、その曖昧さは dialogue context や環境に強く依存する REs に由来する。 - 曖昧な REs を pragmatic theory に基づき体系的にモデル化した初の robot task planning benchmark「REI-Bench」を提案する。 - 曖昧さが計画性能を最大 36.9% 低下させ得ることを示す。

2. 先行研究と比べてどこがすごい?

- 先行の LLM ベース task planner は、人間の指示が明確で straightforward であると仮定していた。 - 本研究は、実世界で頻出する REs の曖昧さという見過ごされてきた問題に着目する点が新しい。 - pragmatic theory に基づき曖昧な REs を体系的にモデル化した初の robot task planning benchmark を構築した点が貢献。 - 曖昧さによる性能低下を定量的に示し、その失敗要因(planner における missing objects)を明らかにした。

3. 技術・手法の肝は?

- 曖昧な REs を pragmatic theory に基づいて体系的にモデル化した benchmark「REI-Bench」を設計。 - 曖昧な REs を含む人間指示が LLM ベースの robot task planning に与える影響を評価。 - 失敗事例の分析から、多くの失敗が planner における missing objects に起因することを特定。 - 緩和策として「task-oriented context cognition」を提案し、ロボット向けに明確な指示を生成する。

4. どうやって有効だと検証した?

- REI-Bench 上で LLM ベースの task planner を評価し、曖昧な REs により success rate が最大 36.9% 低下することを確認。 - 失敗事例を分析し、most failure cases が planner の missing objects に由来することを示した。 - 提案手法 task-oriented context cognition を aware prompts、chains of thought、in-context learning と比較し、state-of-the-art 性能を達成したと報告。

5. 議論はある?

- 曖昧な REs が LLM ベースの robot task planning の性能を大きく劣化させることを議論。 - 失敗の主因として planner における missing objects を指摘。 - 非専門家(高齢者や子ども)にとってロボットをより accessible にする意義を述べる。 - 具体的な限界や今後の課題の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている aware prompts、chains of thought、in-context learning に関する研究。 - LLM ベースの robot task planning の代表的手法に関する論文。 - referring expressions や pragmatic theory に関する言語学的研究。 - 曖昧指示や missing objects 問題を扱う embodied agent の指示理解研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenxi Jiang, Chuhao Zhou, Jianfei Yang

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Robot task planning decomposes human instructions into executable action sequences that enable robots to complete a series of complex tasks. Although recent large language model (LLM)-based task planners achieve amazing performance, they assume that human instructions are clear and straightforward. However, real-world users are not experts, and their instructions to robots often contain significant vagueness. Linguists suggest that such vagueness frequently arises from referring expressions (REs), whose meanings depend heavily on dialogue context and environment. This vagueness is even more prevalent among the elderly and children, who are the groups that robots should serve more. This paper studies how such vagueness in REs within human instructions affects LLM-based robot task planning and how to overcome this issue. To this end, we propose the first robot task planning benchmark that systematically models vague REs grounded in pragmatic theory (REI-Bench), where we discover that the vagueness of REs can severely degrade robot planning performance, leading to success rate drops of up to 36.9%. We also observe that most failure cases stem from missing objects in planners. To mitigate the REs issue, we propose a simple yet effective approach: task-oriented context cognition, which generates clear instructions for robots, achieving state-of-the-art performance compared to aware prompts, chains of thought, and in-context learning. By tackling the overlooked issue of vagueness, this work contributes to the research community by advancing real-world task planning and making robots more accessible to non-expert users, e.g., the elderly and children.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI