日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.17706

OmniVLA-RL: 空間理解とオンラインRLを備えた視覚言語行動モデル

OmniVLA-RL: A Vision-Language-Action Model with Spatial Understanding and Online RL

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルの空間認識精度と強化学習の安定性を改善するため、Mix-of-TransformersアーキテクチャとFlow-GSPOという新しい学習手法を提案し、LIBEROベンチマークで性能を実証した。

詳しい要約

1. どんなもの?

本論文は OmniVLA-RL という新しい Vision-Language-Action (VLA) モデルを提案する。 - 目的: 既存 VLA の課題である不正確な空間知覚、マルチモーダル融合の最適化不足、強化学習の不安定性を克服する。 - 構成: Mix-of-Transformers (MoT) 設計で reasoning・spatial・action の expert を協調統合する。 - 学習: Flow-GSPO を導入し、flow matching を Stochastic Differential Equation (SDE) として再定式化し、Group Segmented Policy Optimization (GSPO) と統合する。 - 評価: LIBERO と LIBERO-Plus ベンチマークで主流手法を上回る性能を示す。

2. 先行研究と比べてどこがすごい?

既存 VLA フレームワークと比較した利点は以下の通り。 - 空間知覚の精度不足を MoT による spatial expert の統合で改善。 - マルチモーダル融合の最適化不足に対し、reasoning・spatial・action の expert を協調させる設計を採用。 - 強化学習の不安定性に対し、Flow-GSPO により flow matching を SDE 化し GSPO と組み合わせて訓練の堅牢性を高める。 - 結果として LIBERO および LIBERO-Plus で主流手法を上回る性能を達成。

3. 技術・手法の肝は?

技術の肝は次の2点。 - Mix-of-Transformers (MoT): reasoning・spatial・action の expert を協調統合するアーキテクチャ。 - Flow-GSPO: flow matching を Stochastic Differential Equation (SDE) 過程として再定式化し、Group Segmented Policy Optimization (GSPO) と統合。これにより action 精度と訓練の堅牢性を向上させる。

4. どうやって有効だと検証した?

LIBERO と LIBERO-Plus ベンチマークで評価を実施。 - 全体性能が妥当であり、主流の既存手法を上回ることを示した。 - これにより現在の VLA モデルの根本的限界を克服できると主張。 - 具体的な数値や比較手法の詳細は要旨からは不明。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、汎化性に関する議論は記述されていない。 - 今後の課題や倫理的影響についても言及がない。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法は明示されていない。 - 同分野の定番として Vision-Language-Action (VLA) モデル、flow matching、Stochastic Differential Equation (SDE)、Group Segmented Policy Optimization (GSPO)、LIBERO ベンチマーク関連の論文を読むとよい。 - 特に LIBERO および LIBERO-Plus を用いた VLA 研究が参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haoxiang Jie, Yaoyuan Yan, Xiangyu Wei, Kailin Wang, Hongjie Yan, Zhiyou Heng, Daocheng Chen

分類: cs.RO

原文アブストラクト

Visual-Language-Action (VLA) models represent a paradigm shift in embodied AI, yet existing frameworks often struggle with imprecise spatial perception, suboptimal multimodal fusion, and instability in reinforcement learning. To bridge these gaps, we propose OmniVLA-RL, a novel architecture that leverages a Mix-of-Transformers (MoT) design to synergistically integrate reasoning, spatial, and action experts. Furthermore, we introduce Flow-GSPO, which reformulates flow matching as a Stochastic Differential Equation (SDE) process and integrates it with Group Segmented Policy Optimization (GSPO) to enhance action precision and training robustness. Extensive evaluations on the LIBERO and LIBERO-Plus benchmarks demonstrate that OmniVLA-RL achieves decent overall performance and surpasses mainstream existing methods, effectively overcoming the fundamental limitations of current VLA models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI