日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.05535

人間とロボットの協調マニピュレーションのための混合主導対話

Mixed-Initiative Dialog for Human-Robot Collaborative Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自然言語による混合主導の対話を通じて、人間とロボットが協力してタスクを遂行するシステムMICoBotを提案し、実機実験で有効性を示した。

詳しい要約

1. どんなもの?

- 長期的な human-robot collaboration のための対話システム - 両エージェントが自然言語で提案・受諾・拒否を行う Mixed-Initiative dialog を採用 - 提案手法 MICoBot は、人間の物理行動・協力意欲・ロボット能力理解が時間とともに変化する状況に対応 - タスクの各ステップをどちらが担うかを対話で調整し、人間の負担を最小化する協調戦略を目指す

2. 先行研究と比べてどこがすごい?

- 従来の agent allocation models や pure LLM baseline と比較 - 両エージェントが主体的に提案・受諾・拒否できる tightly coupled communication loop を実現 - 人間の availability 推定と robot の affordance model を組み合わせ、人間の負担を考慮した割当てを行う点が特徴 - 物理ロボット trial で task success と user experience が有意に向上したと報告

3. 技術・手法の肝は?

- 3 階層の意思決定構造 - (1) meta-planner: 人間の対話を考慮し、高レベルの collaboration strategy を定式化・コード化 - (2) planner: robot の capabilities(simulation-pretrained affordance model で測定)と人間の estimated availability に基づき残りステップを最適割当 - (3) action executor: 低レベル行動や人間への発話内容を決定 - 自然言語による task-directed dialog を扱う

4. どうやって有効だと検証した?

- 18 名の unique human participants による physical robot trials を実施 - pure LLM baseline および standard agent allocation models と比較 - task success と user experience の両面で MICoBot が有意に改善したと報告 - 詳細な評価指標や統計手法は要旨からは不明

5. 議論はある?

- 人間の行動・協力意欲・ロボット能力理解が時間変化する状況への適応を扱う - 対話による提案・受諾・拒否の柔軟な調整が重要と主張 - 限界や失敗事例、affordance model や availability 推定の誤りへの影響は要旨からは不明 - 18 名規模の trial であり、より多様な参加者や長期運用での検証は要旨からは不明

6. 次に読むべき論文は?

- pure LLM baseline として用いられた LLM ベースの対話・計画手法 - standard agent allocation models(タスク割当ての標準手法) - affordance model および simulation-pretrained affordance learning 関連研究 - Mixed-Initiative dialog および human-robot collaboration の対話研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Albert Yu, Chengshu Li, Luca Macesanu, Arnav Balaji, Ruchira Ray, Raymond Mooney, Roberto Martín-Martín

分類: cs.RO, cs.CL, cs.HC, cs.LG, cs.MA

原文アブストラクト

Effective robotic systems for long-horizon human-robot collaboration must adapt to a wide range of human partners, whose physical behavior, willingness to assist, and understanding of the robot's capabilities may change over time. This demands a tightly coupled communication loop that grants both agents the flexibility to propose, accept, or decline requests as they coordinate toward completing the task effectively. We apply a Mixed-Initiative dialog paradigm to Collaborative human-roBot teaming and propose MICoBot, a system that handles the common scenario where both agents, using natural language, take initiative in formulating, accepting, or rejecting proposals on who can best complete different steps of a task. To handle diverse, task-directed dialog, and find successful collaborative strategies that minimize human effort, MICoBot makes decisions at three levels: (1) a meta-planner considers human dialog to formulate and code a high-level collaboration strategy, (2) a planner optimally allocates the remaining steps to either agent based on the robot's capabilities (measured by a simulation-pretrained affordance model) and the human's estimated availability to help, and (3) an action executor decides the low-level actions to perform or words to say to the human. In physical robot trials with 18 unique human participants, MICoBot significantly improves task success and user experience over a pure LLM baseline and standard agent allocation models. See additional videos and materials at https://robin-lab.cs.utexas.edu/MicoBot/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI