VIKI-R: 強化学習による身体性マルチエージェント協調の実現
VIKI-R: Coordinating Embodied Multi-Agent Cooperation via Reinforcement Learning
視覚言語モデルを微調整と強化学習で訓練し、異なる身体を持つ複数エージェントの視覚に基づく協調を可能にするフレームワークVIKI-Rと、その評価用ベンチマークVIKI-Benchを提案。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Li Kang, Xiufeng Song, Heng Zhou, Yiran Qin, Jie Yang, Xiaohong Liu, Philip Torr, Lei Bai, Zhenfei Yin
分類: cs.AI, cs.CV, cs.RO
原文アブストラクト
Coordinating multiple embodied agents in dynamic environments remains a core challenge in artificial intelligence, requiring both perception-driven reasoning and scalable cooperation strategies. While recent works have leveraged large language models (LLMs) for multi-agent planning, a few have begun to explore vision-language models (VLMs) for visual reasoning. However, these VLM-based approaches remain limited in their support for diverse embodiment types. In this work, we introduce VIKI-Bench, the first hierarchical benchmark tailored for embodied multi-agent cooperation, featuring three structured levels: agent activation, task planning, and trajectory perception. VIKI-Bench includes diverse robot embodiments, multi-view visual observations, and structured supervision signals to evaluate reasoning grounded in visual inputs. To demonstrate the utility of VIKI-Bench, we propose VIKI-R, a two-stage framework that fine-tunes a pretrained vision-language model (VLM) using Chain-of-Thought annotated demonstrations, followed by reinforcement learning under multi-level reward signals. Our extensive experiments show that VIKI-R significantly outperforms baselines method across all task levels. Furthermore, we show that reinforcement learning enables the emergence of compositional cooperation patterns among heterogeneous agents. Together, VIKI-Bench and VIKI-R offer a unified testbed and method for advancing multi-agent, visual-driven cooperation in embodied AI systems.
関連論文
- 観察・共有・予測:身体性マルチエージェント協調におけるパートナー情報の disentangleマルチエージェント協調
- 残差デノイジングによるサンプル効率の良いオンデマンド多エージェント協調マルチエージェント協調
- SyncPlan: 明示的同期と適応的修正による長期的LLM協調マルチエージェント協調
- MECoBench: 具現化環境におけるマルチモーダルエージェント協調の体系的研究マルチエージェント協調
- LLawCo: 協調の法則を学習して具現化マルチエージェント行動をモデル化するマルチエージェント協調
- CoEnv: 構成環境による身体化マルチエージェント協調の推進マルチエージェント協調
