日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モバイルマニピュレーションarXiv:2610.03476

MobiAgent: 長期的モバイルマニピュレーションのための二重ループ再帰的政策自己改善

MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

VLMを基盤に高レベル推論と低レベル制御を分離し、展開中の自己改善ループと自動スキル獲得ループを組み合わせて長期的モバイルマニピュレーションを実現するエージェントフレームワーク。

詳しい要約

1. どんなもの?

- 長期的な mobile manipulation を対象とした dual-loop agentic framework『MobiAgent』 - Inner Loop は VLM による receding-horizon planning と visual reflection で atomic skills を動的に構成 - Outer Loop は deployment rollouts を自動で分割・検証・クラスタリングし、skill library を継続的に fine-tuning - 評価は RoboCasa、BEHAVIOR-1K、実世界タスクで実施

2. 先行研究と比べてどこがすごい?

- 従来の Vision-Language-Action models は短期的タスクに強く、多段階目的の階層推論が不足 - 既存 hierarchical agents は sub-task mapping が固定的で replanning が柔軟でなく、継続学習も欠如 - MobiAgent は BEHAVIOR-1K で $π_{0.5}$-TA を 22.5 percentage points 上回る - 実行失敗からの robust recovery を実現し、自律データ再利用で成功率を改善

3. 技術・手法の肝は?

- Inner Loop: VLM による receding-horizon planning と visual reflection で atomic skills を動的構成 - 高レベル推論と低レベル制御を分離し、composable atomic skills を活用 - skills は unified VLM backbone を共有する specialized flow-matching experts が実行 - Outer Loop: deployment rollouts を自動分割・検証・クラスタリングして atomic skills を発見 - 人間のアノテーションなしで skill library を継続的に fine-tuning

4. どうやって有効だと検証した?

- RoboCasa、BEHAVIOR-1K、実世界タスクで評価 - BEHAVIOR-1K で $π_{0.5}$-TA を 22.5 percentage points 上回る - 実行失敗からの robust recovery を確認 - 自律データ再利用により RoboCasa で 7.50% から 27.50%、Astribot S1 で 32.5% から 57.5% へ成功率改善

5. 議論はある?

- 長期的 mobile manipulation における compounding execution errors と capacity interference が課題 - locomotion と arm control 間の干渉を unified VLM backbone 共有で緩和 - 既存手法の rigid sub-task mapping、inflexible replanning、継続学習欠如を克服 - 具体的な限界や失敗事例、計算コスト、スケーラビリティの議論は要旨からは不明

6. 次に読むべき論文は?

- $π_{0.5}$-TA - Vision-Language-Action models - hierarchical agents - flow-matching experts - RoboCasa - BEHAVIOR-1K - Astribot S1

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenzhi Liu, Yue Zhang, Jiehong Lin, Jianan Wang, Bo Wang, Zhongrui Wang, Xiaojuan Qi

分類: cs.RO, cs.AI

原文アブストラクト

Long-horizon mobile manipulation presents significant challenges due to compounding execution errors and capacity interference between locomotion and arm control. While recent Vision-Language-Action models excel at short-horizon tasks, they lack the hierarchical reasoning required for multi-stage objectives. Furthermore, existing hierarchical agents suffer from rigid sub-task mapping, inflexible replanning, and a lack of continuous learning. To address these limitations, we introduce MobiAgent, a dual-loop agentic framework that bridges robust deployment execution and recursive policy self-improvement. During deployment, the Inner Loop decouples high-level reasoning from low-level control through highly composable atomic skills. It employs Vision-Language models for receding-horizon planning and visual reflection, dynamically composing skills to ensure robust error recovery. These skills are executed by specialized flow-matching experts that share a unified VLM backbone, maximizing reusability while mitigating capacity interference. Concurrently, the Outer Loop drives automated lifelong learning by autonomously segmenting and verifying deployment rollouts, clustering them to discover atomic skills, and continuously fine-tuning the skill library without human annotations. Evaluations on RoboCasa, BEHAVIOR-1K, and real-world tasks demonstrate the effectiveness of MobiAgent. It outperforms $π_{0.5}$-TA by 22.5 percentage points on BEHAVIOR-1K and enables robust recovery from execution failures. Through autonomous data recycling, success improves from 7.50% to 27.50% on RoboCasa and from 32.5% to 57.5% on Astribot S1.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI