日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボット学習/VLAarXiv:2603.16195

S-VAM: 幾何学的・意味的先読みの自己蒸留によるショートカット動画行動モデル

S-VAM: Shortcut Video-Action Model by Self-Distilling Geometric and Semantic Foresight

シェア:XThreadsFacebookLINEはてブBluesky

動画行動モデル(VAM)の推論速度と先読み精度のトレードオフを解決するため、単一パスで幾何・意味表現を予測するショートカットモデルS-VAMを提案。多段階拡散の生成事前知識を一段階推論に凝縮する自己蒸留戦略を導入し、シミュレーションと実世界で高性能を実証した。

詳しい要約

1. どんなもの?

- ビデオアクションモデル(VAM)の一種で、ロボット操作のための視覚的先見性を持つ。 - 従来のVAMは、遅い多段階ビデオ生成かノイズの多い一段階特徴抽出に依存し、リアルタイム推論と高忠実度の先見性を両立できなかった。 - S-VAMは、単一のフォワードパスで幾何学的・意味的表現を先見し、アクション予測を簡素化するショートカットビデオアクションモデル。 - 自己蒸留戦略により、多段階デノイジングの構造的生成事前分布を一段階推論に凝縮する。

2. 先行研究と比べてどこがすごい?

- 従来のVAMは多段階ビデオ生成(遅い)か一段階特徴抽出(ノイズ多い)で、リアルタイム性と高忠実度を同時に保証できなかった。 - S-VAMは単一フォワードパスで高忠実度の先見表現を生成し、リアルタイム推論を可能にする。 - シミュレーションと実世界で最先端手法を上回る性能を示し、複雑環境での効率的かつ正確な操作を実現。

3. 技術・手法の肝は?

- 自己蒸留戦略を導入:拡散モデル自身の多段階生成ビデオから抽出した視覚基盤モデル(VFM)表現を教師ターゲットとする。 - 軽量デカプラー(学生)が、ノイズの多い一段階特徴を直接これらのターゲットにマッピングするよう学習。 - これにより、多段階デノイジングの構造的生成事前分布を一段階推論に凝縮。 - 先見された幾何学的・意味的表現が安定した青写真として機能し、アクション予測を簡素化。

4. どうやって有効だと検証した?

- シミュレーションと実世界の両方で広範な実験を実施。 - 最先端手法と比較して、S-VAMが優れた性能を発揮することを示した。 - 複雑な環境での効率的かつ正確な操作を可能にすることを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:従来のVAM(多段階ビデオ生成や一段階特徴抽出に依存するもの)、拡散モデル、視覚基盤モデル(VFM)。 - 関連手法:自己蒸留、ショートカット学習。 - 同分野の定番:ロボット操作のためのビデオ予測モデル、拡散ポリシー。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haodong Yan, Zhide Zhong, Jiaguan Zhu, Junjie He, Weilin Yuan, Wenxuan Song, Xin Gong, Yingjie Cai, Guanyi Zhao, Xu Yan, Bingbing Liu, Ying-Cong Chen, Haoang Li

分類: cs.CV, cs.RO

原文アブストラクト

Video action models (VAMs) have emerged as a promising paradigm for robot learning, owing to their powerful visual foresight for complex manipulation tasks. However, current VAMs, typically relying on either slow multi-step video generation or noisy one-step feature extraction, cannot simultaneously guarantee real-time inference and high-fidelity foresight. To address this limitation, we propose S-VAM, a shortcut video-action model that foresees coherent geometric and semantic representations via a single forward pass. Serving as a stable blueprint, these foreseen representations significantly simplify the action prediction. To enable this efficient shortcut, we introduce a novel self-distillation strategy that condenses structured generative priors of multi-step denoising into one-step inference. Specifically, vision foundation model (VFM) representations extracted from the diffusion model's own multi-step generated videos provide teacher targets. Lightweight decouplers, as students, learn to directly map noisy one-step features to these targets. Extensive experiments in simulation and the real world demonstrate that our S-VAM outperforms state-of-the-art methods, enabling efficient and precise manipulation in complex environments. Our project page is https://haodong-yan.github.io/S-VAM/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI