日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習arXiv:2606.02274

Dexterity-BEV: 3D世界と行動の整合による汎用ロボットポリシー学習

Dexterity-BEV: Aligning 3D World and Actions for Generalizable Robot Policies Learning

シェア:XThreadsFacebookLINEはてブBluesky

2D基盤モデルの限界を克服するため、カメラ校正と深度を用いて2D入力を3D頂点マップに変換し、BEV座標系で入力と行動を整合させることで、視点変化に頑健で汎用的な操作ポリシーを学習する手法を提案した。

詳しい要約

1. どんなもの?

- 2D RGB入力に依存し3D性を無視するVLMベースの操作ポリシーの限界を克服する手法。 - aligned vertex mapとvertex spectrumというピクセル単位3D表現を導入。 - 入力と出力を共有座標に整列し、canonical BEVフレームを構築。 - 大規模データ処理パイプラインと時系列整列スキームを開発。

2. 先行研究と比べてどこがすごい?

- 従来の2D基盤モデルは操作の本質的な3D性を無視し、入力出力空間や異なるロボット間の3D整列が欠如。 - 提案手法は3D認識と2D大規模VLMの汎化性を両立。 - カメラ姿勢変動に頑健な視点不変表現を実現。 - 異なるロボット、人間、データセット間の時空間整列を改善。

3. 技術・手法の肝は?

- aligned vertex mapとvertex spectrum:カメラキャリブレーションと任意のdepthを用いて2D視覚入力を3D化。 - 各カメラ視点のピクセル単位3D情報とロボット行動を共有座標に表現。 - canonical Bird's-Eye-View (BEV)整列フレームを指定し、BEV画像を構築。 - 大規模訓練評価のためのデータ処理パイプラインと時系列整列スキームを導入。

4. どうやって有効だと検証した?

- 要旨からは不明(具体的な検証方法や実験結果は記述されていない)。

5. 議論はある?

- 要旨からは不明(限界や議論については記述されていない)。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVision-Language Models (VLMs)、Bird's-Eye-View (BEV)表現、3D操作ポリシー学習が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huayi Zhou, Wei Gao, Dekun Lu, Ruiji Liu, Zhanqi Zhang, Ziyang Zhang, Jian Chen, Wenlve Zhou, Sheng Xu, Shumin Li, Kangyi Guo, Shichen Xu, Zixin Huang, Yongyi Su, Kui Jia

分類: cs.RO

原文アブストラクト

End-to-end manipulation policies, combined with web-scale pretrained Vision-Language Models (VLMs), show the promise for generalizable and dexterous robotic manipulation. However, they inherit two key limitations from 2D foundation models: 1) the reliance on 2D RGB inputs that ignores the intrinsically 3D nature of manipulation; and 2) the lack of spatial 3D alignment between input-output spaces as well as across diverse robot embodiments, camera setups, and trajectory datasets. In this paper, we present a series of contributions to address these issues. First, we introduce aligned vertex map and vertex spectrum -- a pixel-wise 3D representation that elevates 2D visual inputs to 3D, using camera calibration and optional depth. This novel input representation marries 3D awareness with the generalization of 2D large VLMs. Then, we propose to align the inputs and outputs of manipulation policies by expressing per-pixel 3D information of each camera view and robot actions to a shared coordinate. Based on this, we designate a canonical Bird's-Eye-View (BEV) alignment frame and innovatively propose to construct BEV images, producing a view-invariant representation robust to camera pose variations. To enable training and evaluation at scale, we develop a comprehensive data processing pipeline to perform such alignments; we also introduce a novel temporal alignment scheme for trajectories across diverse robots, human operators, and datasets. These contributions collectively mitigate input and output spatial-temporal misalignments, improving the consistency and generalization for real-world manipulation. Pretrained checkpoint, source code and data processing pipeline are available in https://hnuzhy.github.io/projects/Dex-BEV.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI