VEGA: 実世界の自己中心視点ビデオと幾何学的軌道監視によるナビゲーションVLAの学習

- 一人称視点のナビゲーション動画からNavigation VLAモデルを学習するVEGAを提案。 - ラベルなしのEgocentric Videoを活用し、単眼動画から局所的なScene Geometryを再構成。 - テキスト・画像・空間WaypointとしてGoalをサンプリングし、障害物を考慮したTrajectoryを生成。 - 生成したTrajectory分布でFlow-Matching VLAナビゲーションPolicyを訓練。 - 評価用にVEGA-Bench（250k Scene、約5M Goal、Scene Geometry付き）を導入。

- インターネット規模のEgocentric Videoはスケーラブルな観測源だが、ロボット座標系でのGoal条件付き障害物回避TrajectoryがなくPolicy学習に直接使えなかった。 - VEGAは単眼動画からGeometryを再構成し、Goal条件付きの障害物考慮Trajectoryを生成することでこのギャップを埋める。 - Geometryを訓練時のみ使用し、Vision-based Policyに障害物考慮Planningを蒸留する点が新しい。 - 最強Baseline比でCollisionを33.0%削減、Obstacle Clearanceを17.9%改善。 - 実世界試験ではSuccessを150.0%以上改善、Collisionを66.7%以上削減、Obstacle Clearanceを60.0%以上改善。

- 単眼Egocentric Videoから局所Scene Geometryを再構成。 - 再構成したGeometry上でNavigation Goal（Text/Image/Spatial Waypoint）をサンプリング。 - Geometryを用いて障害物を考慮したTrajectoryを生成し、Trajectory分布を構築。 - その分布でFlow-Matching VLAナビゲーションPolicyを訓練。 - Geometryは訓練時のみ使用し、推論時はVisionのみで障害物考慮Planningを蒸留。

- VEGA-Benchを構築し、250k Sceneと約5M Navigation GoalをScene Geometryとペアで用意。 - VEGA-BenchでGoal Progress、Collision Avoidance、Obstacle Clearanceを評価。 - 最強Baseline比でGoal Progressは競争力があり、Collisionを33.0%削減、Obstacle Clearanceを17.9%改善。 - 実世界試験でSuccessを150.0%以上改善、Collisionを66.7%以上削減、Obstacle Clearanceを60.0%以上改善。

- 動画由来のGeometric Supervisionが障害物考慮Navigation VLAのスケーラブルで効果的な学習信号であることを示す。 - 訓練時のみGeometryを使い、Vision-based PolicyにPlanningを蒸留する設計の有効性を主張。 - 限界や失敗事例、計算コスト、Geometry再構成誤差の影響などは要旨からは不明。 - コードとBenchmarkは出版時に公開予定。

- VEGA-Bench（本論文で導入） - Flow-Matching VLAナビゲーションPolicy（関連手法） - Egocentric Videoを用いたナビゲーション学習（関連研究） - 単眼動画からのScene Geometry再構成（関連技術） - 要旨で参照/比較されている個別の先行研究名は明記されていないため、同分野の定番としてVision-Language-Action Navigation、Egocentric Video Learning、Obstacle-Aware Navigationを挙げる。