日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2604.12908

ロボット操作は視覚から幾何への写像である：言語・ビデオモデルを超えた視覚幾何バックボーン

Robotic Manipulation is Vision-to-Geometry Mapping: Vision-Geometry Backbones over Language and Video Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作を視覚から3次元幾何への写像と捉え、言語やビデオのバックボーンではなく事前学習済み3次元表現を用いたVGAモデルを提案し、シミュレーションと実機で優れた性能を示した。

詳しい要約

1. どんなもの？

- ロボット操作を vision-to-geometry mapping (f(v)→G) と捉える立場を提案 - 物理行動は 3D 位置や空間関係などの幾何的性質で定義されると主張 - 汎化可能な制御の基盤は vision-language や video model ではなく vision-geometry backbone であるべきとする - これを実現する Vision-Geometry-Action (VGA) model を提案 - 事前学習済み 3D world model を backbone とし、視覚入力から直接行動を生成 - プロジェクトページ: https://hcplab-sysu.github.io/VisionGeometryActionModel

2. 先行研究と比べてどこがすごい？

- 従来の VLA や video-predictive model は大規模 2D image-text や時系列 pixel データで事前学習 - その表現は意味概念や 2D 事前分布に強く規定され、操作に必要な精密な 3D 幾何と本質的に整合しないと指摘 - VGA は language/video backbone を pretrained 3D world model に置換 - これにより vision-to-geometry mapping を直接確立し、視覚から物理行動へ変換 - 実験で VLA, 3D-VLA, WAM の代表的 baseline を上回ると報告

3. 技術・手法の肝は？

- 行動生成を pretrained 3D representation に直接条件付ける VGA を提案 - 従来の language/video backbone を pretrained 3D world model に置換 - 幾何的一貫性を高めるため Progressive Volumetric Modulation を導入 - 行動予測と 3D property prediction を joint training し、幾何表現を保持 - これらにより視覚入力から物理行動への seamless な vision-to-geometry mapping を実現

4. どうやって有効だと検証した？

- 複数の simulation benchmark で評価 - 主要な VLA, 3D-VLA, WAM baseline と比較 - 比較対象は π_{0.5}, OpenVLA-OFT, GeoVLA, Motus を含む - VGA がこれらを上回ることを確認 - 実世界展開では unseen viewpoints 下で π_{0.5} を上回る - 言語指示に従った target grasping を正確に実行

5. 議論はある？

- language や video の事前分布に主に依存するのではなく native 3D representation 上で動作することが、汎化可能な physical intelligence への有望な方向と主張 - 従来 backbone の表現が 2D 事前分布や意味概念に規定され、3D 幾何と整合しない点を問題視 - 限界や失敗事例、計算コスト、データ要件などの詳細は要旨からは不明 - 実世界評価の規模や被験条件の詳細も要旨からは不明

6. 次に読むべき論文は？

- π_{0.5} - OpenVLA-OFT - GeoVLA - Motus - VLA, 3D-VLA, WAM の各 baseline - 関連する vision-language-action model および video-predictive model の代表的先行研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zijian Song, Qichang Li, Jiawei Zhou, Zhenlong Yuan, Tianshui Chen, Liang Lin, Guangrun Wang

分類: cs.RO

原文アブストラクト

At its core, robotic manipulation is a problem of vision-to-geometry mapping ($f(v) \rightarrow G$). Physical actions are fundamentally defined by geometric properties like 3D positions and spatial relationships. Consequently, we argue that the foundation for generalizable robotic control should be a vision-geometry backbone, rather than the widely adopted vision-language or video models. Conventional VLA and video-predictive models rely on backbones pretrained on large-scale 2D image-text or temporal pixel data. While effective, their representations are largely shaped by semantic concepts or 2D priors, which do not intrinsically align with the precise 3D geometric nature required for physical manipulation. Driven by this insight, we propose the Vision-Geometry-Action (VGA) model, which directly conditions action generation on pretrained 3D representations. Specifically, VGA replaces conventional language or video backbones with a pretrained 3D world model, establishing a seamless vision-to-geometry mapping that translates visual inputs directly into physical actions. To further enhance geometric consistency, we introduce Progressive Volumetric Modulation and jointly train action and 3D property prediction to preserve geometric representations. Extensive experiments validate the effectiveness of our approach. Across simulation benchmarks, VGA outperforms leading VLA, 3D-VLA, and WAM baselines, including $\pi_{0.5}$, OpenVLA-OFT, GeoVLA, and Motus. In real-world deployments, VGA surpasses $\pi_{0.5}$ under unseen viewpoints and accurately follows language instructions for target grasping. These results highlight that operating on native 3D representations, rather than relying primarily on language or video priors, offers a promising direction toward generalizable physical intelligence. Project page: https://hcplab-sysu.github.io/VisionGeometryActionModel.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →