日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.05126

ConsisVLA-4D:ロボット操作のための効率的な3D知覚と4D推論における時空間一貫性の向上

ConsisVLA-4D: Advancing Spatiotemporal Consistency in Efficient 3D-Perception and 4D-Reasoning for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、ロボット操作のための視覚言語行動モデルにおいて、3D知覚と4D推論の時空間一貫性を向上させる統一フレームワークConsisVLA-4Dを提案する。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデル。 - 2D観測から行動への写像が主流。 - 時空間知覚・推論に限界。 - 空間表現は追加センサ依存で計算負荷大。 - 視覚推論は未来フレーム予測に限定。 - 指示に基づくシーン整合性が欠如。 - ConsisVLA-4Dを提案。 - 3D知覚と4D推論の時空間一貫性を強化。 - 統合・効率的フレームワーク。

2. 先行研究と比べてどこがすごい?

- 従来VLAは2D観測→行動写像が中心。 - 空間表現に追加センサを使い計算負荷大。 - 視覚推論は未来フレーム予測に限定。 - 指示に基づくシーン整合性が不足。 - 提案は追加センサ不要で効率的。 - 3D知覚と4D推論の時空間一貫性を強化。 - OpenVLA比でLIBEROで21.6%、実世界で41.5%性能向上。 - 推論速度は2.3倍・2.4倍高速化。

3. 技術・手法の肝は?

- CV-Aligner:クロスビュー物体意味一貫性。 - 指示関連領域をフィルタ。 - 複数視点で物体IDを整合。 - CO-Fuser:クロス物体空間幾何一貫性。 - コンパクト潜在表現で視点間の空間関係曖昧性を除去。 - CS-Thinker:クロスシーン時空間一貫性。 - CV-Alignerの物体意味トークンから局所動力学の暗黙知を学習。 - CO-Fuserの幾何トークンから大域深度を学習。 - シーン変動下で効率的視覚推論を強化。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - LIBEROベンチマークで評価。 - 実世界プラットフォームで評価。 - OpenVLAと比較。 - LIBEROで21.6%性能向上。 - 実世界で41.5%性能向上。 - 推論速度は2.3倍・2.4倍高速化。 - 効率的時空間一貫性設計の有効性を実証。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例の議論は記載なし。 - 計算コスト詳細やスケーラビリティは不明。 - 実世界タスクの多様性や一般化は不明。

6. 次に読むべき論文は?

- OpenVLA:比較対象のVLAモデル。 - LIBERO:評価ベンチマーク。 - Vision-Language-Action (VLA) モデル全般。 - 3D知覚・4D推論関連研究。 - 時空間一貫性を扱うロボティクス研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wei Li, Jizhihui Liu, Li Yixing, Junwen Tong, Rui Shao, Liqiang Nie

分類: cs.RO

原文アブストラクト

Current Vision-Language-Action (VLA) models primarily focus on mapping 2D observations to actions, but exhibit notable limitations in spatiotemporal perception and reasoning: 1) spatial representations often rely on additional sensors, introducing substantial computational overhead; 2) visual reasoning is typically limited to future-frame prediction, lacking alignment with the instruction-grounded scene and thus compromising spatiotemporal consistency. To address these challenges, we propose ConsisVLA-4D, a unified and efficient framework that enhances spatiotemporal consistency in 3D perception and 4D reasoning. Specifically, we design: 1) CV-Aligner, which ensures cross-view object semantic consistency by filtering instruction-relevant regions and aligning object identities across multiple viewpoints; 2) CO-Fuser, which guarantees cross-object spatial geometric consistency by eliminating spatial relation ambiguities between objects across views using compact latent representations. Building upon these, we introduce 3) CS-Thinker to achieve cross-scene spatiotemporal consistency as actions unfold. It learns implicit knowledge of local dynamics from object-semantic tokens of CV-Aligner and global depth from geometric tokens of CO-Fuser, thereby enhancing efficient visual reasoning under scene variations. Extensive experiments demonstrate that, benefiting from its efficient spatiotemporal consistency design, ConsisVLA-4D achieves 21.6% and 41.5% performance improvements, along with 2.3-fold and 2.4-fold inference speedups compared to OpenVLA on the LIBERO benchmark and real-world platforms, respectively.ConsisVLA-4D is open-sourced and publicly available at

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI