日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.02994

視点不変な潜在行動によるロバストな行動学習

Learning to Act Robustly with View-Invariant Latent Actions

シェア:XThreadsFacebookLINEはてブBluesky

軌道間の遷移パターンを捉える潜在行動をモデル化し、視点不変な表現を学習することで、未知の視点や新しいタスクへの汎化性能を向上させる事前学習フレームワークVILAを提案。

詳しい要約

1. どんなもの?

- 視点変化に頑健な視覚ベースのロボットポリシーを実現するための表現学習手法。 - View-Invariant Latent Action (VILA) を提案。 - 軌道間の遷移パターンを捉える潜在行動をモデル化し、物理ダイナミクスに基づく視点不変表現を学習。 - 実世界とシミュレーションの両方で評価。

2. 先行研究と比べてどこがすごい?

- 既存手法はシーン全体の多視点観測から視覚的外観に依存した不変性を学習。 - 物理ダイナミクスを組み込めず、頑健な汎化が困難。 - VILAは潜在行動を物理ダイナミクスに基づいて学習し、視点不変性を実現。 - 未見視点への汎化と新タスクへの転移が向上。

3. 技術・手法の肝は?

- 軌道間の遷移パターンを捉える潜在行動をモデル化。 - 正解行動系列に基づく行動誘導目的関数で、視点間の潜在行動を整列。 - これにより物理ダイナミクスに根ざした視点不変表現を学習。 - 事前学習フレームワークとして機能。

4. どうやって有効だと検証した?

- シミュレーションと実世界の両方で実験。 - VILAベースのポリシーが未見視点に効果的に汎化することを確認。 - 新タスクへの転移性能も検証。 - 下流学習性能の向上を示す。

5. 議論はある?

- 要旨からは不明。 - 限界や議論の詳細は記述されていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、多視点観測から不変性を学習する手法(例: 視覚的外観に基づくもの)が挙げられる。 - 同分野の定番として、視覚ベースのロボットポリシー学習やドメイン適応に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Youngjoon Jeong, Junha Chun, Taesup Kim

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Vision-based robotic policies often struggle with even minor viewpoint changes, underscoring the need for view-invariant visual representations. This challenge becomes more pronounced in real-world settings, where viewpoint variability is unavoidable and can significantly disrupt policy performance. Existing methods typically learn invariance from multi-view observations at the scene level, but such approaches rely on visual appearance and fail to incorporate the physical dynamics essential for robust generalization. We propose View-Invariant Latent Action (VILA), which models a latent action capturing transition patterns across trajectories to learn view-invariant representations grounded in physical dynamics. VILA aligns these latent actions across viewpoints using an action-guided objective based on ground-truth action sequences. Experiments in both simulation and the real world show that VILA-based policies generalize effectively to unseen viewpoints and transfer well to new tasks, establishing VILA as a strong pretraining framework that improves robustness and downstream learning performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI