日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2609.13318

Attention-DP3: 幾何整合型注意条件付けによる空間的物体認識3D拡散ポリシー

Attention-DP3: Spatially Object-aware 3D Diffusion Policy via Geometry-aligned Attentional Conditioning

シェア:XThreadsFacebookLINEはてブBluesky

RGB画像から対象物体をセグメンテーションして3D点群に持ち上げ、物体レベルの幾何的手がかりを注意機構で拡散ポリシーに注入することで、 clutter の多い操作シーンでも安定して対象を操作できるようにした手法。

詳しい要約

1. どんなもの?

- 3D point-cloud を用いる diffusion policy の改良手法 Attention-DP3 を提案。 - 複雑で clutter な manipulation 場面で対象物体が部分的に遮蔽されたり、類似の distractor と混在する状況を扱う。 - DP3 diffusion backbone は変更せず、attention により object-level の幾何的手がかりを注入する。 - RGB 画像への open-vocabulary 2D segmentation と calibrated camera geometry で target mask を 3D に持ち上げ、object-centric な幾何 prior を得る。

2. 先行研究と比べてどこがすごい?

- 標準的な 3D diffusion policy は scene の複雑化に伴い task-relevant な geometry の特定・活用が困難。 - Attention-DP3 は DP3 を backbone として維持しつつ、object-level の幾何 cue を attention で注入する点が異なる。 - Adroit, DexArt, MetaWorld, 実機 SO101 で DP3 に対し一貫した改善を示し、benchmark で state-of-the-art。 - distractor が増えると DP3 は急激に性能低下するが、Attention-DP3 は安定し、heavy clutter 下で最大 31% 上回る。

3. 技術・手法の肝は?

- open-vocabulary 2D segmentation を RGB 画像に適用し、予測 target mask を calibrated camera geometry で 3D に持ち上げる。 - Tri-field Attentional Conditioning により 3 つの相補的 field を構築する。 - targetness field: 対象物体を anchor する。 - intra-target saliency field: 対象内の task-relevant な geometry を強調する。 - backgroundness field: distractor や clutter を抑制する。 - これらの cue を attention 経由で注入し、DP3 diffusion backbone 自体は変更しない。

4. どうやって有効だと検証した?

- Adroit, DexArt, MetaWorld の benchmark と実世界 SO101 platform で実験。 - DP3 に対する一貫した改善と、benchmark 全体での state-of-the-art 性能を報告。 - distractor 物体を増やす実験で、DP3 は急激に性能低下する一方、Attention-DP3 は安定し、heavy clutter 下で最大 31% の優位を示す。

5. 議論はある?

- 要旨からは不明。 - 想定される論点として、open-vocabulary segmentation の誤りや camera calibration 誤差への頑健性、計算コスト、実機での汎化性などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- DP3 (3D Diffusion Policy) の原論文。 - open-vocabulary 2D segmentation の代表手法 (例: Segment Anything 系)。 - diffusion policy の基礎手法 (例: Diffusion Policy)。 - Adroit, DexArt, MetaWorld の benchmark 論文。 - 実機 SO101 platform に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changbo Yan, Zhongbo Zhang, Zaibin Zhang, Yifan Wang, Lijun Wang, Huchuan Lu

分類: cs.RO, cs.CV

原文アブストラクト

3D point-cloud observations are inherently ambiguous in complex, cluttered manipulation scenes, where target objects may be partially occluded or tightly intermingled with visually similar distractors. As a result, standard 3D diffusion policies often struggle to localize and exploit task-relevant geometry as scene complexity grows. We propose \textbf{Attention-DP3}, a spatially object-aware 3D diffusion policy that injects object-level geometric cues via attention while keeping the DP3 diffusion backbone unchanged. Our pipeline performs open-vocabulary 2D segmentation on RGB images, then lifts predicted target masks into 3D using calibrated camera geometry to obtain object-centric geometric priors. We incorporate these cues through Tri-field Attentional Conditioning, which constructs three complementary fields: (i) a targetness field to anchor the target object, (ii) an intra-target saliency field to emphasize task-relevant geometry within the target, and (iii) a backgroundness field to suppress distractors and clutter. Experiments on Adroit, DexArt, MetaWorld, and the real-world SO101 platform show consistent improvements over DP3, achieving state-of-the-art performance across benchmarks. Notably, as distractor objects increase, DP3 drops sharply, whereas Attention-DP3 remains stable and outperforms DP3 by up to 31\% under heavy clutter. The code is publicly available at https://github.com/zhangzhongbo2213/Attention-DP3.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI