日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.11898

OmniD: 画像ベースBEV表現による汎化可能なロボットマニピュレーションポリシー

OmniD: Generalizable Robot Manipulation Policy via Image-Based BEV Representation

シェア:XThreadsFacebookLINEはてブBluesky

複数視点の画像を鳥瞰図(BEV)表現に統合し、変形可能注意でタスク関連特徴を抽出することで、未知環境や少データでも汎化しやすいロボット操作ポリシーを実現した。

詳しい要約

1. どんなもの?

- OmniD(Omni-Vision Diffusion Policy)というロボット操作のための汎化可能な visuomotor policy を提案する研究。 - 複数視点の画像観測を統合し、統一的な bird's-eye view(BEV)表現を生成するマルチビュー融合フレームワーク。 - diffusion policy をベースに、deformable attention を用いた Omni-Feature Generator(OFG)でタスク関連特徴を選択的に抽出する。 - コードとシミュレーションベンチマークを公開している。

2. 先行研究と比べてどこがすごい?

- 既存の visuomotor policy は固定カメラ位置や背景など訓練データに過適合し、in-distribution では良好だが out-of-distribution で性能が低下する問題があった。 - 既存手法はマルチビュー情報を融合して効果的な 3D 表現を生成することが困難であった。 - OmniD は BEV 表現への統合によりこれらの課題に対処し、best baseline 比で in-distribution 11%、out-of-distribution 17%、few-shot 84% の平均改善を達成した。

3. 技術・手法の肝は?

- 複数視点の画像観測を統一的な BEV 表現に合成するマルチビュー融合フレームワークを採用。 - deformable attention ベースの Omni-Feature Generator(OFG)を導入し、タスク関連特徴を選択的に抽象化する。 - OFG により視点固有のノイズや背景の妨害を抑制する。 - diffusion policy を基盤とした Omni-Vision Diffusion Policy として構成される。

4. どうやって有効だと検証した?

- in-distribution、out-of-distribution、few-shot の各実験を実施。 - best baseline モデルに対し、それぞれ 11%、17%、84% の平均改善を報告。 - 具体的なデータセット名やベンチマーク詳細は要旨からは不明。 - コードとシミュレーションベンチマークを公開している。

5. 議論はある?

- 要旨からは不明。 - ただし、固定カメラ位置や背景への過適合、マルチビュー融合による 3D 表現生成の困難さという課題設定が示されている。 - few-shot での大幅改善(84%)の要因や限界についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的なベースライン名は明記されていない。 - 関連手法として diffusion policy、deformable attention、BEV 表現を用いた visuomotor policy の研究を挙げる。 - 同分野の定番として behavior cloning や visuomotor policy の汎化に関する研究を参照するのが有用。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jilei Mao, Jiarui Guan, Yingjuan Tang, Qirui Hu, Zhihang Li, Junjie Yu, Yongjie Mao, Yunzhe Sun, Shuang Liu, Xiaozhu Ju

分類: cs.RO

原文アブストラクト

The visuomotor policy can easily overfit to its training datasets, such as fixed camera positions and backgrounds. This overfitting makes the policy perform well in the in-distribution scenarios but underperform in the out-of-distribution generalization. Additionally, the existing methods also have difficulty fusing multi-view information to generate an effective 3D representation. To tackle these issues, we propose Omni-Vision Diffusion Policy (OmniD), a multi-view fusion framework that synthesizes image observations into a unified bird's-eye view (BEV) representation. We introduce a deformable attention-based Omni-Feature Generator (OFG) to selectively abstract task-relevant features while suppressing view-specific noise and background distractions. OmniD achieves 11\%, 17\%, and 84\% average improvement over the best baseline model for in-distribution, out-of-distribution, and few-shot experiments, respectively. Training code and simulation benchmark are available: https://github.com/1mather/omnid.git

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI