日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.13732

LAPT-Scale:人間動画の潜在行動事前学習による身体性ポリシーのスケーリング

LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos

シェア:XThreadsFacebookLINEはてブBluesky

人間の一人称視点動画から連続潜在行動を学習し、それを事前学習に用いることでロボットポリシーの性能をスケールさせ、実機成功率を63.3%から85.0%に向上させた。

詳しい要約

1. どんなもの?

- 大規模な一人称視点の人間動画を活用し、ロボット政策をスケールさせるための潜在行動事前学習パラダイム「LAPT-Scale」を提案。 - 2つのコンポーネントから構成: - LAPT-Scale-LAM:人間動画のフレーム間視覚遷移を説明する連続潜在行動を学習し、人間由来の監督信号として利用。 - LAPT-Scale-Policy:人間動画の潜在行動事前学習、対象ロボットの身体性アライメント、タスク特化の事後学習を通じてVLA政策を訓練。 - 23.3K時間の一人称動画で訓練され、政策事前学習のための暗黙的行動監督を提供。 - 注釈付き人間動画が1Kから5K時間に増えるにつれ、実ロボット成功率が63.3%から85.0%に向上するスケーリング利得を確認。 - 学習された政策は未見の視覚条件にも汎化。

2. 先行研究と比べてどこがすごい?

- 従来のベクトル量子化LAMと異なり、連続潜在空間を用いることで、細かい動きや相互作用のダイナミクスを保持。 - ピクセル再構成を超えた遷移レベルの監督を改善するため、知覚・意味・オプティカルフローのアライメント信号を組み合わせ。 - 既存の行動注釈手法は実世界の視覚的複雑さや多様なマニピュレーションダイナミクスの下でノイズが多いが、LAPT-Scaleはよりスケーラブルで一貫したスケーリング利得を実現。

3. 技術・手法の肝は?

- LAPT-Scale-LAM:人間動画のフレーム間視覚遷移を説明する連続潜在行動を学習。 - 連続潜在空間を使用し、ベクトル量子化を回避。 - 知覚・意味・オプティカルフローのアライメント信号を組み合わせ、遷移レベルの監督を強化。 - LAPT-Scale-Policy:人間動画の潜在行動事前学習、対象ロボットの身体性アライメント、タスク特化の事後学習の3段階でVLA政策を訓練。

4. どうやって有効だと検証した?

- 23.3K時間の一人称動画でLAPT-Scale-LAMを訓練。 - 注釈付き人間動画のスケールを1Kから5K時間に増やすと、実ロボット成功率が63.3%から85.0%に向上する一貫したスケーリング利得を確認。 - 学習された政策が未見の視覚条件に汎化することを検証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:ベクトル量子化LAM(vector-quantized LAMs)。 - 関連手法:VLA政策、オプティカルフロー、潜在行動事前学習。 - 同分野の定番:大規模一人称動画を用いたロボット学習、行動注釈手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiyuan Xiang, Peidong Liu, Mingyang Li, Jiawei Li, Wenhow Li, Wenbo Ding, Xiang Deng

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Scaling generalist robotic policies is limited by the high cost of collecting embodied interaction data. Large-scale egocentric human videos offer a rich alternative, but they lack robot action labels, and existing action annotation methods are often noisy under real-world visual complexity and diverse manipulation dynamics. We introduce LAPT-Scale, a scalable latent action pre-training paradigm with two components: LAPT-Scale-LAM learns continuous latent actions by explaining frame-to-frame visual transitions in human videos and uses them as human-derived supervision, while LAPT-Scale-Policy trains a VLA policy through human-video latent-action pre-training, target-robot embodiment alignment, and task-specific post-training. Unlike prior vector-quantized LAMs, LAPT-Scale-LAM uses a continuous latent space to preserve fine-grained motion and interaction dynamics. We further combine perceptual, semantic, and optical-flow alignment signals to improve transition-level supervision beyond pixel reconstruction. Trained on 23.3K hours of egocentric video, LAPT-Scale-LAM provides implicit action supervision for policy pre-training, yielding consistent scaling gains and improving real-robot success from 63.3% to 85.0% as annotated human video scales from 1K to 5K hours. The learned policy also generalizes to unseen visual conditions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI