日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.14133

TwinBrainVLA: 非対称Mixture-of-Transformersによる汎用VLMの身体化タスクへの活用

TwinBrainVLA: Unleashing the Potential of Generalist VLMs for Embodied Tasks via Asymmetric Mixture-of-Transformers

シェア:XThreadsFacebookLINEはてブBluesky

凍結した汎用VLM(左脳)と学習可能な専門家(右脳)を非対称Mixture-of-Transformersで統合し、汎用知識を保ちながら操作タスクを高精度に実行するVLAモデルを提案。

詳しい要約

1. どんなもの?

- 提案手法: TwinBrainVLA - Vision-Language-Action (VLA) モデル - 2つの同型 VLM 経路を協調 - 凍結した generalist (Left Brain) - 訓練可能な specialist (Right Brain) - Asymmetric Mixture-of-Transformers (AsyMoT) 機構 - 目的: ロボット操作タスクにおける汎化性能向上 - ベンチマーク: SimplerEnv, RoboCasa

2. 先行研究と比べてどこがすごい?

- 従来のロボット微調整は事前学習済み VLM の特徴空間を破壊し、catastrophic forgetting を引き起こす - TwinBrainVLA は凍結した generalist 経路を保持し、汎用視覚理解能力を維持 - 訓練可能な specialist 経路が動的に知識をクエリ・融合 - 結果として複雑な操作タスクでベースラインを大幅に上回る性能を達成

3. 技術・手法の肝は?

- 2つの同型 VLM 経路: 凍結 generalist (Left Brain) と訓練可能 specialist (Right Brain) - Asymmetric Mixture-of-Transformers (AsyMoT) 機構 - Right Brain が Left Brain から intact な意味知識を動的にクエリ - proprioceptive states と融合 - 融合表現が flow-matching action expert を条件付け - 連続制御を精密に実行

4. どうやって有効だと検証した?

- SimplerEnv と RoboCasa ベンチマークで評価 - 複雑な操作タスクにおいてベースラインモデルより大幅な性能向上を確認 - 具体的な数値や比較手法は要旨からは不明

5. 議論はある?

- 明示的に一般能力を保持することで性能向上を実現 - catastrophic forgetting の回避が有効であることを示唆 - 限界や今後の課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: なし - 関連手法: Vision-Language-Action (VLA) モデル, flow-matching action expert, Mixture-of-Transformers - 同分野の定番: RT-1, RT-2, Octo, OpenVLA など

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Bin Yu, Shijie Lian, Xiaopeng Lin, Yuliang Wei, Zhaolong Shen, Changti Wu, Yuzhuo Miao, Xinming Wang, Bailing Wang, Cong Huang, Kai Chen

分類: cs.RO, cs.CV

原文アブストラクト

The fundamental premise of Vision-Language-Action (VLA) models is to harness the extensive general capabilities of pre-trained Vision-Language Models (VLMs) for generalized embodied intelligence. However, standard robotic fine-tuning inevitably disrupts the pre-trained feature space, leading to "catastrophic forgetting" that compromises the general visual understanding we aim to leverage. To effectively utilize the uncorrupted general capabilities of VLMs for robotic tasks, we propose TwinBrainVLA, which coordinates two isomorphic VLM pathways: a frozen generalist (also called "Left Brain") and a trainable specialist (also called "Right Brain"). Our architecture utilizes a Asymmetric Mixture-of-Transformers (AsyMoT) mechanism, enabling the Right Brain to dynamically query and fuse intact semantic knowledge from the Left Brain with proprioceptive states. This fused representation conditions a flow-matching action expert for precise continuous control. Empirical results on SimplerEnv and RoboCasa benchmarks demonstrate that by explicitly retaining general capabilities, TwinBrainVLA achieves substantial performance gains over baseline models in complex manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI