日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2602.03668

MVP-LAM: 視点間再構成による行動中心の潜在行動学習

MVP-LAM: Learning Action-Centric Latent Action via Cross-Viewpoint Reconstruction

シェア:XThreadsFacebookLINEはてブBluesky

複数視点の動画を用いて、ある視点の潜在行動が別視点の未来を説明するように学習させ、真の行動と強く相関する行動中心の潜在行動を獲得する手法を提案。VLA事前学習に用いることで下流のマニピュレーション性能を向上させた。

詳しい要約

1. どんなもの?

- 多視点動画から action-centric な latent action を学習する手法 MVP-LAM を提案。 - 学習した latent action を vision-language-action (VLA) の事前学習における pseudo-label として利用。 - 単一視点ではなく複数視点の動画を活用し、ground-truth action に対して情報量の高い latent action を獲得することを目指す。

2. 先行研究と比べてどこがすごい?

- 従来の latent action は多様な人間動画から学習されるが、視点固有の手がかりに依存し、ground-truth action への情報量が限られる可能性があった。 - MVP-LAM は cross-viewpoint reconstruction により視点固有の手がかりへの依存を低減し、より action-centric な latent action を生成。 - Bridge V2 上で ground-truth action との mutual information が向上し、action prediction も改善。out-of-distribution 評価でも改善。

3. 技術・手法の肝は?

- Multi-ViewPoint Latent Action Model (MVP-LAM) を提案。 - cross-viewpoint reconstruction objective で latent action を学習。 - ある視点から得た latent action が別の視点の未来を説明するように訓練することで、視点固有の手がかりへの依存を減らす。

4. どうやって有効だと検証した?

- Bridge V2 上で評価。 - ground-truth action との mutual information が向上し、action prediction が改善。 - out-of-distribution 評価でも改善を確認。 - MVP-LAM の latent action で VLA を事前学習すると、複数の benchmark で下流の manipulation 性能が向上。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Bridge V2 を用いた関連研究。 - vision-language-action (VLA) の事前学習に関する研究。 - latent action を pseudo-label として用いる研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jung Min Lee, Dohyeok Lee, Seokhun Ju, Taehyun Cho, Jin Woo Koo, Li Zhao, Sangwoo Hong, Jungwoo Lee

分類: cs.RO, cs.CV

原文アブストラクト

Latent actions learned from diverse human videos serve as pseudo-labels for vision-language-action (VLA) pretraining, but provide effective supervision only if they remain informative about the underlying ground-truth actions. For effective supervision, latent actions should contain information about the underlying actions even though they are inaccessible. We propose Multi-ViewPoint Latent Action Moel (MVP-LAM), which learns latent actions that are highly informative about ground-truth actions from multi-view videos. MVP-LAM trains latent actions with a cross-viewpoint reconstruction objective, so that a latent action from one view must explain the future in another view, reducing reliance on viewpoint-specific cues. On Bridge V2, MVP-LAM produces more action-centric latent actions, achieving higher mutual information with ground-truth actions and improved action prediction, including under out-of-distribution evaluation. Finally, pretraining VLAs with MVP-LAM latent actions improves downstream manipulation performance on various benchmarks. The code and trained checkpoints are available at https://jmsnu.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI