日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/長期タスクarXiv:2605.13119

ツール整合型視覚言語行動モデルによる長期的身体エージェントの実現

Towards Long-horizon Embodied Agents with Tool-Aligned Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

高レベルのVLMエージェントが計画を、専門化されたVLAツール群が局所操作を分担し、長期的タスクを効率的に実行する枠組みを提案した。

詳しい要約

1. どんなもの?

- 長期的なembodiedタスクにおけるVLAモデルの限界を解決するため、VLAs-as-Toolsを提案。 - 高レベルVLMエージェントが時間的推論を担当し、専門化されたVLAツール群が局所的な物理操作を実行する。 - VLMはシーン分析、グローバル計画、リカバリを担い、各VLAツールは限定されたサブタスクを実行する。 - エージェント計画とVLAツール実行を密結合するVLA tool-family interfaceを導入。 - ツール選択と実行進捗フィードバックを明示的に提供し、イベントトリガーによる効率的な再計画を可能にする。 - 多様な専門VLAツールを得るため、Tool-Aligned Post-Training (TAPT)を提案。 - 呼び出しに整合した訓練単位を構築し、tool-family residual adaptersで効率的に専門化。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは長期的タスクで閉ループ計画と多様な物理操作の二重負担により限界があった。 - VLAs-as-Toolsは負担をVLMエージェントと専門VLAツール群に分散することで、この問題を解決。 - 従来の単一VLAモデルと比べ、長期的タスクの成功率を大幅に向上。 - π0.5をベースに、LIBERO-Longで4.8ポイント、RoboTwinで23.1ポイントの成功率改善。 - 呼び出し忠実度もNon-biased Rateで15.0ポイント向上。 - イベントトリガー再計画により、連続的なエージェントポーリングを不要にし効率化。

3. 技術・手法の肝は?

- VLAs-as-Tools: 高レベルVLMエージェントと専門VLAツール群の階層構造。 - VLMエージェント: シーン分析、グローバル計画、リカバリを担当。 - VLAツール: 限定されたサブタスクを実行する専門化モデル。 - VLA tool-family interface: ツール選択と実行進捗フィードバックを明示的に提供。 - イベントトリガー再計画: 進捗フィードバックに基づき、必要な時のみ再計画。 - Tool-Aligned Post-Training (TAPT): 呼び出し整合訓練単位を構築し、指示追従を学習。 - tool-family residual adapters: 効率的なツール専門化を実現するアダプタ。

4. どうやって有効だと検証した?

- 実験によりVLAs-as-Toolsがπ0.5の成功率を改善することを検証。 - LIBERO-Longで4.8ポイントの成功率向上。 - RoboTwinで23.1ポイントの成功率向上。 - 呼び出し忠実度をNon-biased Rateで測定し、15.0ポイント向上。 - 具体的な実験設定やベースラインの詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、手法の限界や議論についての記述は不明。 - 今後の課題や改善点についても要旨からは不明。 - コードは公開予定とされている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: π0.5, LIBERO-Long, RoboTwin。 - 関連手法: Vision-language-action (VLA) models, Vision language model (VLM) agent, Tool-Aligned Post-Training (TAPT), tool-family residual adapters。 - 同分野の定番: RT-1, RT-2, Octo, OpenVLA などが関連として考えられるが、要旨では明示されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixing Lei, Changxing Liu, Yichen Xiong, Minhao Xiong, Yuanzhuo Ding, Zhipeng Zhang, Weixin Li, Siheng Chen

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-language-action (VLA) models are effective robot action executors, but they remain limited on long-horizon tasks due to the dual burden of extended closed-loop planning and diverse physical operations. We therefore propose VLAs-as-Tools, a strategy that distributes this burden across a high-level vision language model (VLM) agent for temporal reasoning and a family of specialized VLA tools for diverse local physical operations. The VLM handles scene analysis, global planning, and recovery, while each VLA tool executes a bounded subtask. To tightly couple agent planning with VLA tool execution in long-horizon tasks, we introduce a VLA tool-family interface that exposes explicit tool selection and in-execution progress feedback, enabling efficient event-triggered agent replanning without continuous agent polling. To obtain diverse specialized VLA tools that faithfully follow agent invocations, we further propose Tool-Aligned Post-Training (TAPT), which constructs invocation-aligned training units for instruction following and adopts tool-family residual adapters for efficient tool specialization. Experiments show that VLAs-as-Tools improves the success rate of $\pi_{0.5}$ by 4.8 points on LIBERO-Long and 23.1 points on RoboTwin, and further enhances invocation fidelity by 15.0 points as measured by Non-biased Rate. Code will be released.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI