日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.23721

StemVLA:未来の3D空間幾何学知識と4D履歴表現を備えたオープンソース視覚言語行動モデル

StemVLA:An Open-Source Vision-Language-Action Model with Future 3D Spatial Geometry Knowledge and 4D Historical Representation

シェア:XThreadsFacebookLINEはてブBluesky

未来の3D空間構造と過去の4D時空間表現を組み合わせて行動予測を行うVLAモデルを提案し、シミュレーションで有効性を示した。

詳しい要約

1. どんなもの?

- StemVLAは、視覚と言語からロボット行動を予測するVLAモデル。 - 未来の3D空間幾何知識と過去の4D時空間表現を統合。 - 2D観測、予測3D未来構造、集約4D時間動態を同時にモデル化。 - オープンソースのフレームワーク。

2. 先行研究と比べてどこがすごい?

- 既存手法は2D視覚入力から行動系列への直接マッピングが主流。 - 3D空間構造や時間的世界動態を明示的にモデル化していない。 - StemVLAは未来の3D空間知識と過去の4D時空間表現を明示的に組み込む。 - これにより空間推論と長期的意思決定が改善。

3. 技術・手法の肝は?

- 観測画像だけでなく、構造化された3D未来空間幾何知識を予測。 - 過去の画像フレームを事前学習済みvideo-geometry transformerに入力し、暗黙的3D世界表現を抽出。 - 時間的attentionモジュールVideoFormerで時間方向に集約し、4D歴史時空間表現を形成。 - 2D観測、予測3D未来構造、集約4D時間動態を統合。

4. どうやって有効だと検証した?

- シミュレーションで広範な実験を実施。 - LIBEROサブセットで平均精度92.0%を達成。 - 長期的LIBERO-Longサブセットで86.0%を達成。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- VideoFormer [20]

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiasong Xiao, Yutao She, Kai Li, Yuyang Sha, Ziang Cheng

分類: cs.RO, cs.CV

原文アブストラクト

Vision-language-action (VLA) models integrate visual observations and language instructions to predict robot actions, demonstrating promising generalization in manipulation tasks. However, most existing approaches primarily rely on direct mappings from 2D visual inputs to action sequences, without explicitly modeling the underlying 3D spatial structure or temporal world dynamics. Such representations may limit spatial reasoning and long-horizon decision-making in dynamic environments. To address this limitation, we propose StemVLA, a novel framework that explicitly incorporates both future-oriented 3D spatial knowledge and historical 4D spatiotemporal representations into action prediction. First, instead of relying solely on observed images, StemVLA forecasts structured 3D future spatial-geometric world knowledge, enabling the model to anticipate upcoming scene geometry and object configurations. Second, to capture temporal consistency and motion dynamics, we feed historical image frames into a pretrained video-geometry transformer backbone to extract implicit 3D world representations, and further aggregate them across time using a temporal attention module, termed VideoFormer [20], forming a unified 4D historical spatiotemporal representation. By jointly modeling 2D observations, predicted 3D future structure, and aggregated 4D temporal dynamics, StemVLA enables more comprehensive world understanding for robot manipulation. Extensive experiments in simulation demonstrate that Stem-VLA achieves an average accuracy of 92.0% across the LIBERO subsets, and 86.0% on the long-horizon LIBERO-Long subset.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI