日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.18337

MoTVLA: 高速・低速推論を統合した視覚-言語-行動モデル

MoTVLA: A Vision-Language-Action Model with Unified Fast-Slow Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

事前学習済みVLMとドメイン専門家トランスフォーマーを組み合わせ、高速・低速の推論を統合してロボットの行動方策を学習するVLAモデルを提案。

詳しい要約

1. どんなもの?

- ロボット学習向けの Vision-Language-Action (VLA) モデル - 名称は MoTVLA - mixture-of-transformers (MoT) ベース - fast-slow unified reasoning と behavior policy learning を統合 - 事前学習済み VLM を generalist として保持 - 第2の transformer を domain expert として追加 - 目的は open-world generalization と language steerability の両立 - 推論 latency の抑制も狙う

2. 先行研究と比べてどこがすごい?

- 既存手法の課題を2点に整理 - 生成 reasoning を条件に使わない場合、language steerability が限定的 - reasoning を組み込むと inference latency が大きい - MoTVLA は fast-slow unified reasoning でこのトレードオフに対処 - 事前学習済み VLM の general intelligence を維持 - domain expert による fast reasoning で policy 実行効率を改善 - 分解された motion instructions を action expert の条件にすることで - 多様な behavior の学習と言語操作性の向上を主張 - 具体的な先行研究名や定量比較は要旨からは不明

3. 技術・手法の肝は?

- mixture-of-transformers (MoT) 構成 - generalist: 事前学習済み VLM。perception、scene understanding、semantic planning を担当 - domain expert: 第2の transformer。VLM と知識を共有し、domain-specific fast reasoning を生成 - fast reasoning の例として robot motion decomposition を生成 - action expert は分解された motion instructions を条件として動作 - これにより多様な behavior 学習と言語操作性向上を狙う - slow reasoning と fast reasoning の統合方法の詳細は要旨からは不明

4. どうやって有効だと検証した?

- 3種の評価を実施したと記載 - natural language processing benchmarks - robotic simulation environments - real-world experiments - 評価対象は fast-slow reasoning と manipulation task performance - 両面で superiority を確認したと主張 - 具体的な benchmark 名、baseline、指標、被験者数などは要旨からは不明

5. 議論はある?

- 要旨では限界や失敗事例の議論は明示されていない - 想定される論点(要旨からは不明) - domain expert の学習に必要なデータ量や教師信号 - fast reasoning の品質が policy 性能に与える影響 - real-world での推論 latency の実測値 - generalist と expert の知識共有の設計感度 - これらは本文での確認が必要

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として次を検討 - 事前学習済み VLM を用いる VLA 研究(例: RT-2 系の vision-language-action モデル) - reasoning を条件に用いる robot policy 研究(chain-of-thought 系の言語推論条件付け) - mixture-of-experts / mixture-of-transformers の設計論文 - fast-slow 二系統推論の認知アーキテクチャ研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhui Huang, Changhe Chen, Han Qi, Chen Lv, Yilun Du, Heng Yang

分類: cs.RO

原文アブストラクト

Integrating visual-language instructions into visuomotor policies is gaining momentum in robot learning for enhancing open-world generalization. Despite promising advances, existing approaches face two challenges: limited language steerability when no generated reasoning is used as a condition, or significant inference latency when reasoning is incorporated. In this work, we introduce MoTVLA, a mixture-of-transformers (MoT)-based vision-language-action (VLA) model that integrates fast-slow unified reasoning with behavior policy learning. MoTVLA preserves the general intelligence of pre-trained VLMs (serving as the generalist) for tasks such as perception, scene understanding, and semantic planning, while incorporating a domain expert, a second transformer that shares knowledge with the pretrained VLM, to generate domain-specific fast reasoning (e.g., robot motion decomposition), thereby improving policy execution efficiency. By conditioning the action expert on decomposed motion instructions, MoTVLA can learn diverse behaviors and substantially improve language steerability. Extensive evaluations across natural language processing benchmarks, robotic simulation environments, and real-world experiments confirm the superiority of MoTVLA in both fast-slow reasoning and manipulation task performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI