日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/視覚運動ポリシーarXiv:2509.18778

VGGT-DP: 視覚基盤モデルによる汎化可能なロボット制御

VGGT-DP: Generalizable Robot Control via Vision Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

3D知覚モデルVGGTを視覚エンコーダに用い、固有感覚フィードバックと組み合わせた視覚運動ポリシーを提案。トークン再利用とランダム枝刈りで推論を高速化し、MetaWorldタスクで高精度・長期的タスクの性能を向上させた。

詳しい要約

1. どんなもの?

- 視覚模倣学習によるロボットマニピュレーションの新フレームワーク VGGT-DP の提案。 - 視覚エンコーダに pretrained 3D 知覚モデル VGGT (Visual Geometry Grounded Transformer) を採用。 - 視覚情報と固有感覚 (proprioception) を統合する visuomotor policy。 - 生物の視覚系が視覚と固有感覚の両手がかりを使う点に着想。 - 対象は expert demonstrations からの学習による汎化可能なロボット制御。

2. 先行研究と比べてどこがすごい?

- 既存の visual imitation learning は主に policy design に注目し、視覚エンコーダの構造・容量を軽視していた。 - その結果、空間理解や汎化が制限されていたという問題意識。 - VGGT-DP は pretrained 3D 知覚モデルの幾何 prior を活用し、空間的 grounding と closed-loop 制御を改善。 - 実験で DP や DP3 などの strong baselines を上回り、特に precision-critical / long-horizon タスクで優位。

3. 技術・手法の肝は?

- VGGT を視覚エンコーダとして使用し、3D 知覚の幾何 prior を policy に注入。 - proprioception-guided visual learning strategy により、知覚をロボット内部状態に整合させ空間 grounding を強化。 - frame-wise token reuse mechanism で multi-view tokens を効率的な spatial representation に圧縮し推論遅延を低減。 - random token pruning を適用し policy の robustness 向上と overfitting 抑制を図る。

4. どうやって有効だと検証した?

- 難易度の高い MetaWorld タスクで実験。 - DP や DP3 などの strong baselines と比較し、VGGT-DP が有意に優れることを示す。 - 特に precision-critical および long-horizon なシナリオで性能差が顕著。 - 詳細な評価指標やアブレーションの有無は要旨からは不明。

5. 議論はある?

- 視覚エンコーダの構造・容量の重要性を強調する立場。 - frame-wise token reuse と random token pruning による効率化・頑健化の効果が議論の対象。 - ただし具体的な限界、失敗事例、計算コストの定量比較は要旨からは不明。 - 実機実験の有無や sim-to-real の議論も要旨からは不明。

6. 次に読むべき論文は?

- DP (Diffusion Policy) - DP3 (3D Diffusion Policy) - VGGT (Visual Geometry Grounded Transformer) - MetaWorld ベンチマーク関連研究 - visual imitation learning / visuomotor policy の代表的手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shijia Ge, Yinxin Zhang, Shuzhao Xie, Weixiang Zhang, Mingcai Zhou, Zhi Wang

分類: cs.RO, cs.AI

原文アブストラクト

Visual imitation learning frameworks allow robots to learn manipulation skills from expert demonstrations. While existing approaches mainly focus on policy design, they often neglect the structure and capacity of visual encoders, limiting spatial understanding and generalization. Inspired by biological vision systems, which rely on both visual and proprioceptive cues for robust control, we propose VGGT-DP, a visuomotor policy framework that integrates geometric priors from a pretrained 3D perception model with proprioceptive feedback. We adopt the Visual Geometry Grounded Transformer (VGGT) as the visual encoder and introduce a proprioception-guided visual learning strategy to align perception with internal robot states, improving spatial grounding and closed-loop control. To reduce inference latency, we design a frame-wise token reuse mechanism that compacts multi-view tokens into an efficient spatial representation. We further apply random token pruning to enhance policy robustness and reduce overfitting. Experiments on challenging MetaWorld tasks show that VGGT-DP significantly outperforms strong baselines such as DP and DP3, particularly in precision-critical and long-horizon scenarios.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI