日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2603.09079

GST-VLA: 構造化ガウス空間トークンを用いた3次元深度認識型視覚言語行動モデル

GST-VLA: Structured Gaussian Spatial Tokens for 3D Depth-Aware Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚観測を3次元ガウスプリミティブに変換し、深度認識型の思考連鎖推論と行動生成を統合したVLAモデルを提案した。

詳しい要約

1. どんなもの?

- VLAモデルは視覚観測を2D patch tokenとして符号化し、内在的な幾何構造を持たない。 - GST-VLAは、Gaussian Spatial Tokenizer (GST)と3D Depth-Aware Chain-of-Thought (DA-CoT)推論を導入する。 - GSTは凍結されたdense depthと凍結されたsemantic patch特徴をN_g=128の異方性3D Gaussian primitivesに変換する。 - 各primitiveはmetric residual mean μ∈R^3、log-scale covariance log σ∈R^3、学習されたopacity α∈(0,1)でパラメータ化される。 - DA-CoTは4つの中間空間思考(3D object grounding、grasp affordance contact geometry、pairwise metric distances、coarse SE(3) waypoints)を明示的な生成ターゲットとして訓練損失で監督する。 - 300Mパラメータのflow-mat…

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは2D patch tokenのみで幾何構造を持たないが、GST-VLAは3D Gaussian primitivesにより幾何情報を明示的に符号化する。 - スカラーdepthからは得られないcovariance eigenstructureによる局所表面方向と、opacityによる幾何信頼度を利用可能にする。 - 空間attention poolingにより固定トークン予算を幾何的に顕著な領域に集中させ、均一分配を避ける。 - DA-CoTにより4つの中間空間思考を訓練損失で監督し、VLM transformer blockごとのcross-attentionで生の256-primitive Gaussian fieldに直接アクセスする。 - 結果としてLIBEROで96.4%(+2.0%)、SimplerEnvで80.2%(+5.4%)を達成する。

3. 技術・手法の肝は?

- Gaussian Spatial Tokenizer (GST): 凍結dense depthと凍結semantic patch特徴からN_g=128の異方性3D Gaussian primitivesを生成。 - 各primitiveはmetric residual mean μ、log-scale covariance log σ、学習opacity αでパラメータ化。 - covariance eigenstructureが局所表面方向を、opacityが幾何信頼度を符号化。 - 学習クエリ付きspatial attention poolingで固定トークン予算を幾何的に顕著な領域に集中。 - 3D Depth-Aware Chain-of-Thought (DA-CoT): 4つの中間空間思考を明示的生成ターゲットとして訓練損失で監督。 - 各VLM transformer blockにcross-attention sublayerを追加し、DA-CoT生成中に生の256-primitive Gaussian fieldへ直接アクセス。 - 300Mパラメータflow-m…

4. どうやって有効だと検証した?

- LIBEROで96.4%(+2.0%)、SimplerEnvで80.2%(+5.4%)を達成。 - AblationsによりGSTの各コンポーネント、各DA-CoT思考、各訓練段階の寄与を分離。 - 独立かつ相乗的なゲインが精度要求の高いタスクに集中することを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究や関連手法は明示されていない。 - 同分野の定番として、VLAモデル(例: RT-2, OpenVLA)、3D Gaussian Splatting、Chain-of-Thought推論、flow-matching、mixture-of-experts、LIBERO、SimplerEnvなどが挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Md Selim Sarowar, Omer Tariq, Sungho Kim

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

VLA models encode visual observations as 2D patch tokens with no intrinsic geometric structure. We introduce GST-VLA with two contributions. First, the Gaussian Spatial Tokenizer (GST) converts frozen dense depth and frozen semantic patch features into $N_g{=}128$ anisotropic 3D Gaussian primitives, each parameterized by a metric residual mean $\mu \in \mathbb{R}^3$, log-scale covariance $\log \sigma \in \mathbb{R}^3$, and learned opacity $\alpha \in (0,1)$. The covariance eigenstructure encodes local surface orientation, and opacity provides per-primitive geometric confidence, both inaccessible from scalar depth. Spatial attention pooling with learned queries concentrates the fixed token budget on geometrically salient regions rather than distributing uniformly. Second, 3D Depth-Aware Chain-of-Thought (DA-CoT) reasoning supervises four structured intermediate spatial thoughts, covering 3D object grounding, grasp affordance contact geometry, pairwise metric distances, and coarse SE(3) waypoints, as explicit generation targets in the training loss. A cross-attention sublayer at every VLM transformer block provides direct access to the raw 256-primitive Gaussian field during DA-CoT generation. A 300M-parameter flow-matching action expert with mixture-of-experts feedforward sublayers decodes 7-DoF delta action chunks via conditional ODE integration, conditioned on both VLM hidden states and DA-CoT outputs through dual cross-attention. Trained with composite $\mathcal{L}_\mathrm{flow} + \mathcal{L}_\mathrm{CoT} + \mathcal{L}_\mathrm{depth}$ across three progressive stages, GST-VLA achieves 96.4% on LIBERO (+2.0%), and 80.2% on SimplerEnv (+5.4%). Ablations isolate the contribution of each GST component, each DA-CoT thought, and each training stage, confirming independent and synergistic gains concentrated on precision demanding tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI