日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.04633

PRISM: セグメンテーションとクロスアテンションによる点群再統合推論を用いたマニピュレーション

PRISM: Pointcloud Reintegrated Inference via Segmentation and Cross-attention for Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

生の点群とロボット状態から直接学習する模倣学習フレームワークPRISMを提案。点群のセグメンテーション、クロスアテンションによる特徴統合、拡散モデルによる行動生成を組み合わせ、物体が密集した環境でのマニピュレーション精度と効率を向上させた。

詳しい要約

1. どんなもの?

- PRISMは、ロボットマニピュレーションのためのend-to-endな模倣学習フレームワーク。 - 生のpoint cloud観測とrobot statesから直接学習する。 - pretrained modelsやexternal datasetsを必要としない。 - 3つの主要コンポーネントから構成される。 - segmentation embedding unit - cross-attention component - diffusion module

2. 先行研究と比べてどこがすごい?

- 固定カメラ視点の手法はperspective changesに弱い点を指摘。 - 既存の3D point cloud手法はkeyframes predictionに限定され、dynamicでcontact-intensiveなタスクでの有効性が低い点を指摘。 - PRISMはraw point cloudから直接end-to-endで学習し、pretrained modelsやexternal datasetsを不要とする点が特徴。 - 各タスク100 demonstrationsの学習で、2Dおよび3Dのbaseline policiesをaccuracyとefficiencyで上回ったと報告。

3. 技術・手法の肝は?

- segmentation embedding unitがraw point cloudをobject clustersに分割し、local geometric detailsをencodeする。 - cross-attention componentがvisual featuresと処理済みrobot joint statesを統合し、relevant targetsを強調する。 - diffusion moduleがfused representationをsmooth robot actionsに変換する。 - 全体としてraw point cloud観測とrobot statesから直接学習するend-to-end構成。

4. どうやって有効だと検証した?

- シミュレーション環境で検証。 - 各タスク100 demonstrationsで訓練。 - 2Dおよび3Dのbaseline policiesと比較し、accuracyとefficiencyで上回った。 - 複雑でobject-denseなscenariosでのstrong robustnessを示したと報告。 - 具体的なタスク名や評価指標の詳細は要旨からは不明。

5. 議論はある?

- 固定カメラ視点やkeyframes predictionに依存する既存手法の限界を動機として議論。 - cluttered environmentsやdynamic, contact-intensiveなタスクへの適用を重視。 - 実機実験の有無やsim-to-realの議論は要旨からは不明。 - baselineの詳細や定量的な比較結果は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として明示された2D baseline policiesおよび3D baseline policiesの関連研究。 - point cloudを用いたimitation learningの代表的手法。 - diffusion-based policy learningの関連研究。 - segmentationを用いた3D perceptionの関連研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daqi Huang, Zhehao Cai, Yuzhi Hao, Zechen Li, Chee-Meng Chew

分類: cs.RO

原文アブストラクト

Robust imitation learning for robot manipulation requires comprehensive 3D perception, yet many existing methods struggle in cluttered environments. Fixed camera view approaches are vulnerable to perspective changes, and 3D point cloud techniques often limit themselves to keyframes predictions, reducing their efficacy in dynamic, contact-intensive tasks. To address these challenges, we propose PRISM, designed as an end-to-end framework that directly learns from raw point cloud observations and robot states, eliminating the need for pretrained models or external datasets. PRISM comprises three main components: a segmentation embedding unit that partitions the raw point cloud into distinct object clusters and encodes local geometric details; a cross-attention component that merges these visual features with processed robot joint states to highlight relevant targets; and a diffusion module that translates the fused representation into smooth robot actions. With training on 100 demonstrations per task, PRISM surpasses both 2D and 3D baseline policies in accuracy and efficiency within our simulated environments, demonstrating strong robustness in complex, object-dense scenarios. Code and some demos are available on https://github.com/czknuaa/PRISM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI