日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マルチロボット協調/強化学習arXiv:2509.14380

CRAFT: 基盤モデルを用いたマルチロボット協調タスクのための強化学習の自律的コーチング

CRAFT: Coaching Reinforcement Learning Autonomously using Foundation Models for Multi-Robot Coordination Tasks

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルと視覚言語モデルを「コーチ」として活用し、マルチロボット協調タスクをサブタスクに分解して報酬関数を生成・洗練することで、複雑な協調行動を自律的に学習するフレームワークCRAFTを提案。

詳しい要約

1. どんなもの?

- 複数ロボットの協調学習のためのフレームワーク - 名称は CRAFT: Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks - foundation models を「coach」として用い、multi-agent reinforcement learning (MARL) による協調獲得を支援 - 対象は multi-robot coordination tasks - 具体的には multi-quadruped navigation と bimanual manipulation を扱う

2. 先行研究と比べてどこがすごい?

- MARL をロボティクスへ適用する際の課題を扱う - 高次元の連続 joint action space - 複雑な reward design - 同時学習エージェントによる non-stationarity - 人間が coach による curricula と feedback で協調を学ぶことに着想 - foundation models の reasoning 能力を coach 役に転用する点が特徴 - 先行研究との具体的な比較数値は要旨からは不明

3. 技術・手法の肝は?

- LLM の planning 能力で長期 horizon の協調タスクを subtasks 列に自動分解 - 各 subtask を LLM 生成の reward function で学習 - VLM による reward-refinement loop で reward を改善 - これらを組み合わせ foundation models が自律的に coaching する枠組み

4. どうやって有効だと検証した?

- multi-quadruped navigation と bimanual manipulation で評価 - 複雑な協調行動を学習できることを示す - multi-quadruped navigation では学習方策が実世界へ転移することを示す - 定量的な比較結果は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 明示されているのは foundation models による coaching の有効性と実機転移の示唆まで - 限界や失敗事例、reward-refinement の詳細な議論は要旨に記載なし

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として MARL、LLM-based planning、LLM-generated reward、VLM-guided reward refinement が挙げられる - 同分野の定番として multi-agent reinforcement learning や curriculum learning の文献が候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Seoyeon Choi, Kanghyun Ryu, Jonghoon Ock, Negar Mehr

分類: cs.RO

原文アブストラクト

Multi-Agent Reinforcement Learning (MARL) provides a powerful framework for learning coordination in multi-agent systems. However, applying MARL to robotics remains challenging due to their high-dimensional continuous joint action spaces, complex reward design, and non-stationarity from concurrently learning agents. On the other hand, humans often learn complex coordination with the help of coaches, who guide learning through carefully designed curricula and detailed feedback. Building on the reasoning capabilities of foundation models, we argue that these models can similarly coach robots to learn coordination. Motivated by this, we propose CRAFT: Coaching Reinforcement learning Autonomously using Foundation models for learning coordination Tasks, a framework that leverages foundation models to act as a "coach" for multi-robot coordination. CRAFT automatically decomposes long-horizon coordination tasks into sequences of subtasks using the planning capability of Large Language Models (LLMs). Then, CRAFT trains each subtask using LLM-generated reward functions, and refines them through a Vision Language Model (VLM)-guided reward-refinement loop. We evaluate CRAFT on multi-quadruped navigation and bimanual manipulation tasks, and demonstrate its capability to learn complex coordination behaviors. In addition, in a multi-quadruped navigation setting, we show that our learned policies transfer to the real world. Project website is https://iconlab.negarmehr.com/CRAFT/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI