日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.20231

UniLACT: 深度認識RGB潜在行動学習による視覚-言語-行動モデル

UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

RGBと深度の両方から統一的な潜在行動表現を学習し、それを擬似ラベルとしてVLAモデルを事前学習することで、空間認識を要するマニピュレーション精度を向上させた研究。

詳しい要約

1. どんなもの?

- 本研究は UniLACT という transformer ベースの VLA モデルを提案する。 - ラベルなし動画から latent action を学習する枠組みに depth 情報を組み込み、3D 幾何構造を反映した事前学習を可能にする。 - 下流の manipulation タスク用ポリシーが強い空間 prior を継承できるようにする。 - 併せて UniLARN という RGB と depth の統一 latent action 学習フレームワークを提案する。

2. 先行研究と比べてどこがすごい?

- 従来の RGB のみから得られる latent action は見た目由来の dynamics に偏り、3D 幾何構造を持たない。 - 本研究は depth-aware な latent pretraining により、精密で接触を伴う manipulation に必要な空間 prior を補う。 - RGB ベースの latent action ベースラインに対し、in-domain / out-of-domain の事前学習設定や seen / unseen タスクで一貫して優位と報告。

3. 技術・手法の肝は?

- UniLARN は inverse dynamics と forward dynamics の目的関数に基づく統一 latent action 学習フレームワーク。 - RGB と depth の共有 embedding space を学習し、両モダリティ間の cross-modal interaction を明示的にモデル化する。 - モダリティ固有および統一の latent action 表現を生成し、UniLACT の depth-aware 事前学習における pseudo-label として用いる。 - UniLACT は transformer ベースの VLA モデル。

4. どうやって有効だと検証した?

- simulation と real-world の両設定で広範な実験を実施。 - in-domain および out-of-domain の事前学習レジームで評価。 - seen および unseen の manipulation タスクで評価。 - RGB ベースの latent action ベースラインと比較し、UniLACT が一貫して上回ることを示した。

5. 議論はある?

- 要旨からは不明。 - 限界、失敗事例、計算コスト、depth センサ依存性などに関する議論は要旨には記載されていない。

6. 次に読むべき論文は?

- RGB のみの latent action learning に関する先行研究(要旨で比較対象とされる RGB-based latent action baselines)。 - inverse dynamics / forward dynamics に基づく latent action 学習の関連手法。 - vision-language-action (VLA) モデルの事前学習に関する研究。 - depth を用いた manipulation や 3D 幾何を扱うロボティクス研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Manish Kumar Govind, Dominick Reilly, Pu Wang, Srijan Das

分類: cs.RO, cs.CV

原文アブストラクト

Latent action representations learned from unlabeled videos have recently emerged as a promising paradigm for pretraining vision-language-action (VLA) models without explicit robot action supervision. However, latent actions derived solely from RGB observations primarily encode appearance-driven dynamics and lack explicit 3D geometric structure, which is essential for precise and contact-rich manipulation. To address this limitation, we introduce UniLACT, a transformer-based VLA model that incorporates geometric structure through depth-aware latent pretraining, enabling downstream policies to inherit stronger spatial priors. To facilitate this process, we propose UniLARN, a unified latent action learning framework based on inverse and forward dynamics objectives that learns a shared embedding space for RGB and depth while explicitly modeling their cross-modal interactions. This formulation produces modality-specific and unified latent action representations that serve as pseudo-labels for the depth-aware pretraining of UniLACT. Extensive experiments in both simulation and real-world settings demonstrate the effectiveness of depth-aware unified latent action representations. UniLACT consistently outperforms RGB-based latent action baselines under in-domain and out-of-domain pretraining regimes, as well as on both seen and unseen manipulation tasks.The project page is at https://manishgovind.github.io/unilact-vla/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI