日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2607.07101

GeoProp: ロボット状態を視覚に接地する汎用操作のための手法

GeoProp: Grounding Robot State in Vision for Generalist Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの状態と視覚特徴を幾何学的に整合させる軽量アダプタを提案し、操作ポリシーの性能を向上させた。

詳しい要約

1. どんなもの?

GeoPropは、ロボット操作における proprioception(自己受容感覚)と視覚情報を明示的に幾何学的に接地する軽量なプラグインアダプタ。ロボットの状態を画像平面に投影し、局所的な視覚特徴をサンプリングして接地状態トークンを構築し、FiLM変調で状態由来の空間事前分布を視覚特徴に注入する。さらに、短期的な予測座標で特徴をサンプリングし、動作意図を捉える。Diffusion Policyやpi_0などの汎用操作ポリシーに組み込むことで性能を向上させる。

2. 先行研究と比べてどこがすごい?

従来の標準的な融合手法は proprioception を視覚トークンと明示的に整合しない孤立したベクトルとして扱うため、3Dキネマティクスと2D特徴マップの直接対応がなく、操作ポリシーがシーン内でロボット状態を接地できず、視覚のみのベースラインを下回ることがあった。GeoPropは、明示的な幾何学的接地と空間特徴サンプリングにより、この問題を解決し、軽量でプラグアンドプレイな適応を実現。

3. 技術・手法の肝は?

手法の肝は、ロボット状態を画像平面に投影して局所視覚特徴をサンプリングし、接地状態トークンを構築すること。次に、FiLM変調を用いて状態由来の空間事前分布を対応する視覚特徴に注入する。さらに、最近のキネマティクスから予測した短期的な座標で特徴をサンプリングし、ルックアヘッドな視覚文脈を提供する。これにより、proprioceptionと視覚の対応を明示的に確立する。

4. どうやって有効だと検証した?

67タスクで検証。63のシミュレーションタスクでDiffusion Policyを8.7%改善し、RoboTwinサブセットでpi_0を4.0%改善。実世界では両ポリシーファミリーで平均10.6%の向上。パラメータ数は2-3%の増加のみ。

5. 議論はある?

要旨からは、議論や限界についての詳細は不明。ただし、パラメータ増加が少ない一方で性能向上が大きいことから、汎用ポリシーへの有効な帰納バイアスであると主張している。

6. 次に読むべき論文は?

要旨で参照されているのはDiffusion Policyとpi_0。次に読むべきは、これらのベースライン論文(Diffusion Policy、pi_0)や、関連する視覚と言語の接地手法、ロボット操作における状態表現の研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoyang Zhao, Quanhao Qian, Gongjie Zhang, Wenhao Li, Jiuniu Wang, Xiaowei Lu, Deli Zhao, Ran Xu

分類: cs.RO, cs.AI

原文アブストラクト

Proprioception is fundamental to robotic manipulation, yet standard fusion methods often treat it as an isolated vector lacking explicit alignment with visual tokens. Without a direct correspondence between 3D kinematics and 2D feature maps, manipulation policies struggle to ground the robot's state within the scene, frequently underperforming even vision-only baselines. To address this, we introduce GeoProp, a lightweight, plug-and-play adapter that aligns proprioception with vision through explicit geometric grounding and spatial feature sampling. GeoProp projects the robot state onto the image plane to sample localized visual features, constructing a grounded state token. It then injects state-derived spatial priors into the corresponding visual features via FiLM modulation. To capture motion intent, GeoProp further samples features at a short-horizon predicted coordinate derived from recent kinematics, providing look-ahead visual context. Across 67 tasks, GeoProp improves Diffusion Policy by 8.7% on 63 simulation tasks and pi_0 by 4.0% on the RoboTwin subset, and yields a 10.6% average gain across both policy families in the real world, while adding only 2-3% to the parameter count. These results demonstrate that GeoProp is a simple yet high-impact inductive bias for generalist embodied policies. Project page: https://alibaba-damo-academy.github.io/GeoProp/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI