日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2602.16898

MALLVI: 統合的汎用ロボットマニピュレーションのためのマルチエージェントフレームワーク

MALLVI: A Multi-Agent Framework for Integrated Generalized Robotics Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

自然言語指示と画像からロボットの操作を計画する際、分解・位置推定・思考・反省などの専門エージェントを協調させ、視覚言語モデルによる閉ループフィードバックで汎化性能と成功率を高めるフレームワークを提案。

詳しい要約

1. どんなもの?

MALLVIは、自然言語指示と環境画像からロボットマニピュレータの実行可能な原子行動を生成する、LLMとVisionを統合したMulti-Agentフレームワーク。 - 閉ループフィードバック駆動型のロボットマニピュレーションを実現 - 単一モデルではなく、Decomposer、Localizer、Thinker、Reflectorなどの専門エージェントを協調 - 任意でDescriptorエージェントが初期状態の視覚メモリを提供 - シミュレーションと実世界で評価され、zero-shotタスクの成功率向上を報告

2. 先行研究と比べてどこがすごい?

従来のLLMによるタスクプランニングは、専用モデル・fine tuning・prompt tuningに依存し、環境フィードバックのないopen loopで動的環境に脆弱だった。 - MALLVIはclosed-loop feedbackを導入し、VLMが行動実行後の環境フィードバックを評価 - 単一モデルではなく複数の専門エージェントを協調させる点が新しい - Reflectorが関連エージェントのみを再活性化し、全体再プランニングを回避 - これによりzero-shot manipulationの汎化と成功率が向上

3. 技術・手法の肝は?

MALLVIの肝は、自然言語指示と画像入力から原子行動を生成し、実行後にVLMでフィードバックを評価する閉ループ構造。 - Decomposer、Localizer、Thinker、Reflectorの専門エージェントが知覚・位置推定・推論・高レベル計画を分担 - 任意のDescriptorが初期状態の視覚メモリを提供 - Reflectorはエラー検出と回復を担い、必要なエージェントだけを再起動して全体再計画を避ける - 反復的なclosed-loop multi-agent coordinationが特徴

4. どうやって有効だと検証した?

シミュレーションと実世界環境の両方で実験を実施。 - 反復的なclosed-loop multi-agent coordinationが汎化を改善し、zero-shot manipulationタスクの成功率を高めることを示した - 具体的なベースラインや指標、タスク詳細は要旨からは不明 - コードはGitHubで公開されている

5. 議論はある?

要旨からは、限界や失敗事例、計算コスト、エージェント間の競合や通信オーバーヘッドに関する議論は不明。 - 動的環境での頑健性やzero-shot性能の向上が主張されている - ただし、どのような条件下で有効か、実世界での安全性や一般性の限界については要旨からは不明

6. 次に読むべき論文は?

要旨で参照・比較されている具体的な先行研究名は明示されていない。 - 関連手法として、LLM-based task planning、fine tuning、prompt tuning、open-loop manipulation、Vision Language Model (VLM) を用いたフィードバック制御が挙げられる - 同分野の定番として、SayCan、Code as Policies、Inner Monologue、PaLM-E、RT-2などが次の読むべき候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mehrshad Taji, Arad Mahdinezhad Kashani, Iman Ahmadi, AmirHossein Jadidi, Saina Kashani, Babak Khalaj

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Task planning for robotic manipulation with large language models (LLMs) is an emerging area. Prior approaches rely on specialized models, fine tuning, or prompt tuning, and often operate in an open loop manner without robust environmental feedback, making them fragile in dynamic settings. MALLVI presents a Multi Agent Large Language and Vision framework that enables closed-loop feedback driven robotic manipulation. Given a natural language instruction and an image of the environment, MALLVI generates executable atomic actions for a robot manipulator. After action execution, a Vision Language Model (VLM) evaluates environmental feedback and decides whether to repeat the process or proceed to the next step. Rather than using a single model, MALLVI coordinates specialized agents, Decomposer, Localizer, Thinker, and Reflector, to manage perception, localization, reasoning, and high level planning. An optional Descriptor agent provides visual memory of the initial state. The Reflector supports targeted error detection and recovery by reactivating only relevant agents, avoiding full replanning. Experiments in simulation and real-world settings show that iterative closed loop multi agent coordination improves generalization and increases success rates in zero shot manipulation tasks. Code available at https://github.com/iman1234ahmadi/MALLVI .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI