日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.21157

HALO: 身体性マルチモーダル連鎖推論のための統合視覚-言語-行動モデル

HALO: A Unified Vision-Language-Action Model for Embodied Multimodal Chain-of-Thought Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

テキスト推論・視覚的サブゴール予測・行動予測を統合したEM-CoT推論を可能にするVLAモデルHALOを提案し、シミュレーションと実環境でベースラインを上回る性能を示した。

詳しい要約

1. どんなもの?

- HALOは、Vision-Language-Action (VLA) モデルの一種で、embodied multimodal chain-of-thought (EM-CoT) 推論を可能にする統合モデル。 - テキストによるタスク推論、視覚的サブゴール予測、EM-CoT拡張行動予測を順次行う。 - Mixture-of-Transformers (MoT) アーキテクチャを採用し、意味推論、視覚的先見、行動予測を専門家に分離。 - 大規模学習のための自動データ合成パイプラインと訓練レシピを導入。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは長期的・分布外シナリオで苦戦し、テキストchain-of-thoughtや視覚サブゴール予測を個別に導入していた。 - HALOはテキスト推論、視覚的先見、行動予測を統合した人間らしい推論フレームワークを提供。 - ベースラインのpi_0をRoboTwinベンチマークで34.1%上回る性能を達成。

3. 技術・手法の肝は?

- EM-CoT推論:テキストタスク推論→視覚サブゴール予測→EM-CoT拡張行動予測の順次プロセス。 - Mixture-of-Transformers (MoT) アーキテクチャ:意味推論、視覚的先見、行動予測を専門家に分離しつつ協調。 - 自動パイプラインでEM-CoT訓練データを合成し、訓練レシピを設計。

4. どうやって有効だと検証した?

- シミュレーションと実世界環境での広範な実験を実施。 - RoboTwinベンチマークでベースラインpi_0を34.1%上回る性能を確認。 - 訓練レシピとEM-CoT設計の各コンポーネントがタスク成功率を向上させることを検証。 - 未見の環境ランダム化下での強い汎化能力を実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- pi_0(ベースラインVLAモデル) - テキストchain-of-thoughtや視覚サブゴール予測を導入した最近のVLA研究 - RoboTwinベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Quanxin Shou, Fangqi Zhu, Shawn Chen, Puxin Yan, Zhengyang Yan, Yikun Miao, Xiaoyi Pang, Zicong Hong, Ruikai Shi, Hao Huang, Jie Zhang, Song Guo

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong performance in robotic manipulation, but often struggle in long-horizon or out-of-distribution scenarios due to the lack of explicit mechanisms for multimodal reasoning and anticipating how the world will evolve under action. Recent works introduce textual chain-of-thought or visual subgoal prediction within VLA models to reason, but still fail to offer a unified human-like reasoning framework for joint textual reasoning, visual foresight, and action prediction. To this end, we propose HALO, a unified VLA model that enables embodied multimodal chain-of-thought (EM-CoT) reasoning through a sequential process of textual task reasoning, visual subgoal prediction for fine-grained guidance, and EM-CoT-augmented action prediction. We instantiate HALO with a Mixture-of-Transformers (MoT) architecture that decouples semantic reasoning, visual foresight, and action prediction into specialized experts while allowing seamless cross-expert collaboration. To enable HALO learning at scale, we introduce an automated pipeline to synthesize EM-CoT training data along with a carefully crafted training recipe. Extensive experiments demonstrate that: (1) HALO achieves superior performance in both simulated and real-world environments, surpassing baseline policy pi_0 by 34.1% on RoboTwin benchmark; (2) all proposed components of the training recipe and EM-CoT design help improve task success rate; and (3) HALO exhibits strong generalization capabilities under aggressive unseen environmental randomization with our proposed EM-CoT reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI