日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.17502

RynnVLA-002:視覚言語行動と世界モデルの統合

RynnVLA-002: A Unified Vision-Language-Action and World Model

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデルと世界モデルを統合し、環境の物理を学習して行動生成を洗練させるフレームワークを提案。シミュレーションと実機で性能向上を実証。

詳しい要約

1. どんなもの?

- RynnVLA-002は、Vision-Language-Action (VLA) モデルと world model を統合した統一フレームワーク - world model は action と visual 入力から将来の画像状態を予測し、環境の物理を学習して action 生成を洗練 - VLA モデルは画像観測から後続 action を生成し、視覚理解を高め world model の画像生成を支援 - 統合により環境ダイナミクスと action planning の共同学習を可能にする - simulation と real-world robot タスクの両方で評価

2. 先行研究と比べてどこがすごい?

- 個別の VLA モデルや world model を上回る性能を示した - VLA と world model が相互に強化し合う関係を実験的に示した点が特徴 - LIBERO simulation benchmark で pretraining なしに 97.4% の success rate を達成 - real-world LeRobot 実験で統合 world model により全体の success rate が 50% 向上 - 具体的な比較対象の先行研究名は要旨からは不明

3. 技術・手法の肝は?

- world model が action と visual 入力から将来の画像状態を予測し、環境の物理を学習 - その学習結果を action 生成の洗練に利用 - VLA モデルは画像観測から後続 action を生成し、視覚理解を強化 - VLA の視覚理解が world model の画像生成を支援する相互構造 - 統一フレームワークにより環境ダイナミクスと action planning を共同で学習

4. どうやって有効だと検証した?

- simulation と real-world robot タスクの両方で評価 - LIBERO simulation benchmark で pretraining なしに 97.4% の success rate を達成 - real-world LeRobot 実験で統合 world model により全体の success rate が 50% 向上 - 個別の VLA モデルや world model を上回ることを実験で示した - 詳細な実験設定や被験タスクの内訳は要旨からは不明

5. 議論はある?

- VLA と world model の相互強化を示す結果が得られている - 統合により環境ダイナミクスと action planning の共同学習が可能になるという主張 - 限界や失敗事例、計算コスト、real-world での一般化に関する議論は要旨からは不明 - 比較対象や ablation の詳細も要旨からは不明

6. 次に読むべき論文は?

- LIBERO simulation benchmark に関する論文 - LeRobot に関する論文 - Vision-Language-Action (VLA) モデルの代表的先行研究 - world model を用いたロボット学習の代表的先行研究 - 要旨で具体的な参照論文名は示されていないため、上記は同分野の定番・関連手法として挙げる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jun Cen, Siteng Huang, Yuqian Yuan, Kehan Li, Hangjie Yuan, Chaohui Yu, Bohan Hou, Yuming Jiang, Jiayan Guo, Xin Li, Hao Luo, Fan Wang, Deli Zhao, Hao Chen

分類: cs.RO

原文アブストラクト

We introduce RynnVLA-002, a unified Vision-Language-Action (VLA) and world model. The world model leverages action and visual inputs to predict future image states, learning the underlying physics of the environment to refine action generation. Conversely, the VLA model produces subsequent actions from image observations, enhancing visual understanding and supporting the world model's image generation. The unified framework of RynnVLA-002 enables joint learning of environmental dynamics and action planning. Our experiments show that RynnVLA-002 surpasses individual VLA and world models, demonstrating their mutual enhancement. We evaluate RynnVLA-002 in both simulation and real-world robot tasks. RynnVLA-002 achieves 97.4% success rate on the LIBERO simulation benchmark without pretraining, while in real-world LeRobot experiments, its integrated world model boosts the overall success rate by 50%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI