日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.15880

効率的な幾何認識ビジョンエンコーダによるロボットマニピュレーションの改善

Improving Robotic Manipulation with Efficient Geometry-Aware Vision Encoder

シェア:XThreadsFacebookLINEはてブBluesky

幾何認識型の視覚表現を模倣学習に組み込むことで成功率が最大6.5%向上することを示し、さらにVGGTを蒸留した高速・軽量なエンコーダeVGGTを提案した論文。

詳しい要約

1. どんなもの?

- RGBベースの模倣学習(imitation learning)における視覚エンコーダの問題を扱う研究 - 従来のResNetやViTは明示的な3D推論能力を欠く点に着目 - 幾何認識型視覚モデル(VGGTなど)をロボットマニピュレーションへ統合することを検討 - 計算コスト課題に対処するため、VGGTから蒸留した効率的エンコーダeVGGTを提案 - コードと事前学習モデルを公開予定

2. 先行研究と比べてどこがすごい?

- 従来のRGBベース模倣学習はResNetやViTなど3D推論を欠く視覚エンコーダを使用 - 幾何認識型エンコーダをACTやDPに組み込むことで、標準エンコーダ比で成功率最大6.5%向上 - 単腕・双腕、シミュレーション・実世界の両設定で改善を確認 - 既存のgeometry-groundedモデルは計算コストが高く実機展開が困難という課題があった - eVGGTはVGGT比で約9倍高速・5倍小さいながら3D推論能力を維持

3. 技術・手法の肝は?

- 幾何認識型視覚表現を模倣学習フレームワーク(ACT、DP)へ統合 - VGGTなどのgeometry-grounded vision modelを視覚エンコーダとして利用 - eVGGTはVGGTから蒸留(distillation)して構築した効率的なgeometry-aware encoder - eVGGTにより計算コストを削減しつつ強い3D推論能力を保持 - 詳細な蒸留手法やアーキテクチャは要旨からは不明

4. どうやって有効だと検証した?

- 単腕・双腕のマニピュレーションタスクで評価 - シミュレーションと実世界の両設定で検証 - 標準視覚エンコーダとの成功率比較で最大6.5%の改善を報告 - eVGGTについてはVGGT比で約9倍高速・5倍小さいことを示す - 具体的なタスク名・データセット・被験者数などは要旨からは不明

5. 議論はある?

- geometry-groundedモデルは高い計算コストが実機展開の制約になる点を指摘 - eVGGTによる効率化でこの制約の緩和を図る - 幾何認識表現の導入が模倣学習の性能向上に有効であることを示唆 - 蒸留による性能劣化の程度や実機での汎化性に関する詳細は要旨からは不明 - コード・モデル公開により再現性と今後の研究促進を意図

6. 次に読むべき論文は?

- VGGT(wang2025vggt):蒸留元のgeometry-grounded vision model - ACT(Action Chunking with Transformers):統合対象の模倣学習フレームワーク - DP(Diffusion Policy):統合対象の模倣学習フレームワーク - ResNet、ViT:比較対象の標準視覚エンコーダ - 知識蒸留(knowledge distillation)関連の効率的視覚モデル研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: An Dinh Vuong, Minh Nhat Vu, Ian Reid

分類: cs.RO

原文アブストラクト

Existing RGB-based imitation learning approaches typically employ traditional vision encoders such as ResNet or ViT, which lack explicit 3D reasoning capabilities. Recent geometry-grounded vision models, such as VGGT~\cite{wang2025vggt}, provide robust spatial understanding and are promising candidates to address this limitation. This work investigates the integration of geometry-aware visual representations into robotic manipulation. Our results suggest that incorporating the geometry-aware vision encoder into imitation learning frameworks, including ACT and DP, yields up to 6.5% improvement over standard vision encoders in success rate across single- and bi-manual manipulation tasks in both simulation and real-world settings. Despite these benefits, most geometry-grounded models require high computational cost, limiting their deployment in practical robotic systems. To address this challenge, we propose eVGGT, an efficient geometry-aware encoder distilled from VGGT. eVGGT is nearly 9 times faster and 5 times smaller than VGGT, while preserving strong 3D reasoning capabilities. Code and pretrained models will be released to facilitate further research in geometry-aware robotics.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI