日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチエージェント協調arXiv:2506.09049

VIKI-R: 強化学習による身体性マルチエージェント協調の実現

VIKI-R: Coordinating Embodied Multi-Agent Cooperation via Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルを微調整と強化学習で訓練し、異なる身体を持つ複数エージェントの視覚に基づく協調を可能にするフレームワークVIKI-Rと、その評価用ベンチマークVIKI-Benchを提案。

詳しい要約

1. どんなもの?

- 動的環境での複数 embodied agent の協調を扱う研究 - 新規ベンチマーク VIKI-Bench を導入 - 階層構造の3段階: agent activation, task planning, trajectory perception - 多様な robot embodiments、multi-view の視覚観測、構造化された supervision 信号を含む - 併せて手法 VIKI-R を提案 - pretrained VLM を2段階で fine-tune する枠組み

2. 先行研究と比べてどこがすごい?

- 従来は LLM による multi-agent planning が中心 - 近年 VLM を用いた visual reasoning の試みがあるが、多様な embodiment への対応が限定的 - 本研究は多様な robot embodiments と multi-view 観測を備えた初の階層型 embodied multi-agent 協調ベンチマークを提示 - 全タスクレベルで baseline 手法を大きく上回る性能を示す

3. 技術・手法の肝は?

- 2段階の枠組みで pretrained VLM を fine-tune - 第1段階: Chain-of-Thought 注釈付き demonstration による学習 - 第2段階: multi-level reward 信号下での reinforcement learning - VIKI-Bench の3階層(agent activation, task planning, trajectory perception)に対応した評価設計 - 視覚入力に基づく推論を構造化 supervision で学習

4. どうやって有効だと検証した?

- VIKI-Bench 上で広範な実験を実施 - VIKI-R が全タスクレベルで baseline 手法を有意に上回ることを確認 - reinforcement learning により異種 agent 間の compositional cooperation patterns が創発することを示す

5. 議論はある?

- reinforcement learning が異種 agent 間の協調パターンの創発に寄与する点を議論 - VIKI-Bench と VIKI-R を embodied AI における multi-agent・視覚駆動協調の統合 testbed と手法として位置づけ - 具体的な限界や失敗事例の議論は要旨からは不明

6. 次に読むべき論文は?

- LLM を用いた multi-agent planning の先行研究 - VLM による visual reasoning を用いた multi-agent 手法 - Chain-of-Thought を用いた VLM fine-tuning 関連研究 - multi-agent reinforcement learning の協調学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Li Kang, Xiufeng Song, Heng Zhou, Yiran Qin, Jie Yang, Xiaohong Liu, Philip Torr, Lei Bai, Zhenfei Yin

分類: cs.AI, cs.CV, cs.RO

原文アブストラクト

Coordinating multiple embodied agents in dynamic environments remains a core challenge in artificial intelligence, requiring both perception-driven reasoning and scalable cooperation strategies. While recent works have leveraged large language models (LLMs) for multi-agent planning, a few have begun to explore vision-language models (VLMs) for visual reasoning. However, these VLM-based approaches remain limited in their support for diverse embodiment types. In this work, we introduce VIKI-Bench, the first hierarchical benchmark tailored for embodied multi-agent cooperation, featuring three structured levels: agent activation, task planning, and trajectory perception. VIKI-Bench includes diverse robot embodiments, multi-view visual observations, and structured supervision signals to evaluate reasoning grounded in visual inputs. To demonstrate the utility of VIKI-Bench, we propose VIKI-R, a two-stage framework that fine-tunes a pretrained vision-language model (VLM) using Chain-of-Thought annotated demonstrations, followed by reinforcement learning under multi-level reward signals. Our extensive experiments show that VIKI-R significantly outperforms baselines method across all task levels. Furthermore, we show that reinforcement learning enables the emergence of compositional cooperation patterns among heterogeneous agents. Together, VIKI-Bench and VIKI-R offer a unified testbed and method for advancing multi-agent, visual-driven cooperation in embodied AI systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI