日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.27138

DLAM: 時間的制約を伴う分布型潜在アクション

DLAM: Distributional Latent Actions with Temporal Constraints

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、ロボットの行動データ不足を補うため、行動ラベルなしのビデオから潜在アクションを学習する新しいモデルDLAMを提案する。各遷移を対角ガウス分布として表現し、時間的整合性を保ちながら再構成誤差の伝播を抑えることで、ロボットポリシー学習の性能を向上させる。

詳しい要約

1. どんなもの?

DLAMは、ロボットの行動ラベルが不足する中で、行動なしのビデオから潜在的な行動の事前知識を抽出するための分布的な潜在行動モデルである。各遷移を対角ガウス分布として表現し、参照フレームに基づく再構成で平均を観測された視覚変化に接地し、等間隔トリプレット上の正規化合成と反転によって平均と次元ごとの分散に時間的制約を課す。下流のポリシー学習では、エンコーダを凍結し、フローマッチングポリシーを用いて平均遷移系列とロボット行動を同時生成する。

2. 先行研究と比べてどこがすごい?

既存の潜在行動モデルは再構成訓練により未来観測を予測するが、ロボット行動との同時生成に必要な構造を欠く。構造化手法は時間的制約を追加するが、決定論的な遷移点を保持するため、局所的に推定された遷移の残差誤差が再帰的合成で蓄積・伝播する可能性がある。DLAMは遷移を分布として表現し、正規化合成と反転による時間的制約を分散にも適用することで、この問題に対処する点が新しい。

3. 技術・手法の肝は?

手法の核心は、各遷移を対角ガウス分布としてモデル化し、参照フレームに条件付けられた再構成で平均を接地すること。等間隔トリプレットに対して、正規化合成(平均と分散の合成)と反転(平均の符号反転、分散は不変)を課す。分散合成では、隣接遷移が中間フレームを共有する依存性を考慮するため、軽量な共有相関係数を導入する。下流ではエンコーダを凍結し、フローマッチングポリシーで平均遷移系列とロボット行動を生成する。

4. どうやって有効だと検証した?

検証は、保持された遷移に対する時間的一貫性、直接および累積再構成誤差を既存の潜在行動ベースラインと比較して評価。さらに、同一の制御されたπ0転送プロトコル下で、MetaWorld MT50、LIBERO、実世界の操作タスクにおけるポリシー性能を向上。制御アブレーションにより、正規化平均制約が再構成ゲインの大部分を担い、学習された分散と相関認識合成が下流制御に相補的な改善をもたらすことを示した。

5. 議論はある?

要旨からは、提案手法の限界や潜在的な欠点についての明示的な議論は不明。ただし、分散合成に共有相関係数を用いる近似が、実際の遷移間依存性を完全には捉えられない可能性や、フローマッチングポリシーの訓練が複雑になる可能性などが考えられるが、要旨には記載がない。

6. 次に読むべき論文は?

要旨で参照されている既存の潜在行動モデルや、π0転送プロトコルに関連する研究。具体的には、latent action models、reconstruction-trained codes、structured methods with temporal constraints、flow-matching policy、MetaWorld MT50、LIBEROなどの関連論文が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zuojin Tang, Feifan Luo, Haoyun Liu, Botai Yuan, Dekang Qi, Ronghan Chen, Yandan Yang, Tong Lin, Xinyuan Chang, Mu Xu, Bin Liu, De Ma, Zhiheng Ma

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

Vision-language-action (VLA) models remain constrained by scarce action-labeled robot data, whereas action-free videos offer abundant observations of physical change. Latent action models can extract such priors, but reconstruction-trained codes may predict future observations without the structure required for joint generation with robot actions. Existing structured methods add temporal constraints but retain deterministic transition points, so residual errors in locally inferred transitions may propagate and compound under recursive composition. We introduce DLAM, a distributional latent-action model that represents each transition as a diagonal Gaussian. Reconstruction conditioned on the reference frame grounds the mean in observed visual change, while normalized composition and reversal over equal-gap triplets constrain both the mean and dimension-wise variance. Variance composition uses a lightweight shared-correlation coefficient to account for dependence between adjacent transitions that share an intermediate frame, whereas reversal negates the mean and preserves the variance. For downstream policy learning, we freeze the encoder and train a flow-matching policy to jointly generate mean transition sequences and robot actions. On held-out transitions, DLAM learns more temporally consistent latent dynamics than existing latent-action baselines and achieves stronger direct and cumulative reconstruction on held-out videos. Under the same controlled $\pi_0$ transfer protocol, it also improves policy performance on MetaWorld MT50, LIBERO, and real-world manipulation tasks. Controlled ablations show that normalized mean constraints account for most of the reconstruction gain, while learned variance and correlation-aware composition provide complementary improvements in downstream control.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI