日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

拡散ポリシー/3D認識/操作arXiv:2603.14977

ReMAP-DP: 再投影マルチビュー整列ポイントマップによる拡散ポリシー

ReMAP-DP: Reprojected Multi-view Aligned PointMaps for Diffusion Policy

シェア:XThreadsFacebookLINEはてブBluesky

2D視覚表現に基づく汎用ロボットポリシーに明示的な3D空間認識を組み込むため、標準化された透視再投影と画素整列されたPointMapsを融合した二重ストリーム拡散ポリシーを提案し、シミュレーションと実世界の操作タスクで高い性能とデータ効率を実証した。

詳しい要約

1. どんなもの?

- 2D視覚表現ベースの汎用ロボットポリシーは意味推論に優れるが、高精度タスクに必要な明示的な3D空間認識を欠く。 - 既存の3D統合手法は、sparse point cloudsの構造的不規則性とmulti-view orthographic renderingの幾何歪みによりこのギャップを埋められない。 - ReMAP-DPは、standardized perspective reprojectionとstructure-aware dual-stream diffusion policyを融合した新フレームワーク。 - re-projected viewsとpixel-aligned PointMapsを結合し、learnable modality embeddingsでfrozen semantic featuresとexplicit geometric descriptorsを融合。 - 高精度なimplicit patch-level alignmentを実現する。

2. 先行研究と比べてどこがすごい?

- 既存の3D統合手法はsparse point cloudsの構造的不規則性とmulti-view orthographic renderingの幾何歪みに苦しむ。 - ReMAP-DPはstandardized perspective reprojectionとpixel-aligned PointMapsを組み合わせ、これらの障壁を克服。 - dual-stream architectureとlearnable modality embeddingsにより、frozen semantic featuresとexplicit geometric descriptorsを融合。 - これによりprecise implicit patch-level alignmentを保証。 - シミュレーションと実世界でDP3ベースラインを上回る性能を達成。

3. 技術・手法の肝は?

- standardized perspective reprojectionを採用し、multi-view orthographic renderingの幾何歪みを回避。 - re-projected viewsとpixel-aligned PointMapsを結合。 - structure-aware dual-stream diffusion policyを構築。 - learnable modality embeddingsを用いてfrozen semantic featuresとexplicit geometric descriptorsを融合。 - precise implicit patch-level alignmentを実現。

4. どうやって有効だと検証した?

- シミュレーションと実世界環境で広範な実験を実施。 - RoboTwin 2.0で平均成功率59.3%を達成し、DP3ベースラインを+6.6%上回る。 - ManiSkill 3の幾何学的に困難なStack CubeタスクでDP3比28%改善。 - 実世界で高精度かつ動的なマニピュレーションを少数のデモンストレーションから高いデータ効率で実行し、堅牢性を示す。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- DP3 (baseline) - RoboTwin 2.0 - ManiSkill 3 - diffusion policy - point cloud-based robot learning

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinzhang Yang, Renjun Wu, Jinyan Liu, Xuesong Li

分類: cs.RO

原文アブストラクト

Generalist robot policies built upon 2D visual representations excel at semantic reasoning but inherently lack the explicit 3D spatial awareness required for high-precision tasks. Existing 3D integration methods struggle to bridge this gap due to the structural irregularity of sparse point clouds and the geometric distortion introduced by multi-view orthographic rendering. To overcome these barriers, we present ReMAP-DP, a novel framework synergizing standardized perspective reprojection with a structure-aware dual-stream diffusion policy. By coupling the re-projected views with pixel-aligned PointMaps, our dual-stream architecture leverages learnable modality embeddings to fuse frozen semantic features and explicit geometric descriptors, ensuring precise implicit patch-level alignment. Extensive experiments across simulation and real-world environments demonstrate ReMAP-DP's superior performance in diverse manipulation tasks. On RoboTwin 2.0, it attains a 59.3% average success rate, outperforming the DP3 baseline by +6.6%. On ManiSkill 3, our method yields a 28% improvement over DP3 on the geometrically challenging Stack Cube task. Furthermore, ReMAP-DP exhibits remarkable real-world robustness, executing high-precision and dynamic manipulations with superior data efficiency from only a handful of demonstrations. Project page is available at: https://icr-lab.github.io/ReMAP-DP/

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI