日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2602.00937

CLAMP: 3Dマルチビュー行動条件付きロボットマニピュレーション事前学習のための対照学習

CLAMP: Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

RGB-D画像から再構成したマルチビューの点群とロボット行動を対照学習で結びつけ、拡散ポリシーを事前学習することで、少ない実演データでも高精度なマニピュレーションを可能にする手法を提案。

詳しい要約

1. どんなもの？

- 3Dマルチビュー行動条件付きロボットマニピュレーション事前学習フレームワークCLAMPを提案。 - 点群とロボット行動を利用し、RGB-D画像とカメラ外部パラメータから統合点群を計算。 - 深度と3D座標を含む4チャネルマルチビュー画像観測を再レンダリングし、動的リストビューを含む。 - 大規模シミュレーションロボット軌道でコントラスト学習によりエンコーダを事前学習。 - Diffusion Policyを事前学習し、ファインチューニングの初期重みとする。 - 限られたタスクデモンストレーションでファインチューニングし、未見タスクでの性能を向上。

2. 先行研究と比べてどこがすごい？

- 従来の2D画像表現を用いた行動クローニングは精密操作に必要な3D空間情報を捉えられない。 - CLAMPは3D点群と行動を活用し、3D幾何・位置情報と行動パターンを関連付ける。 - マルチビュー4チャネル観測と動的リストビューにより、対象物の明確な視界を提供。 - Diffusion Policyの事前学習によりファインチューニングのサンプル効率と性能を改善。 - 6つのシミュレーションタスクと5つの実世界タスクで最先端ベースラインを上回る。

3. 技術・手法の肝は？

- RGB-D画像とカメラ外部パラメータから統合点群を計算。 - 統合点群から深度と3D座標を含む4チャネルマルチビュー画像観測を再レンダリング。 - 動的リストビューを含むマルチビュー観測を生成。 - 大規模シミュレーションロボット軌道でコントラスト学習を実施。 - エンコーダ事前学習中にDiffusion Policyを事前学習し、ポリシー重みを初期化。 - ファインチューニングでは学習済み画像・行動表現を用いる。

4. どうやって有効だと検証した？

- 6つのシミュレーションタスクと5つの実世界タスクで評価。 - 最先端ベースラインと比較し、CLAMPが上回ることを示す。 - 事前学習とファインチューニングの設計が学習効率と未見タスクでのポリシー性能を大幅に改善することを実証。 - プロジェクトウェブサイトと動画で結果を公開。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- Diffusion Policy - 2D画像表現を用いた行動クローニング - 3D点群を用いたロボットマニピュレーション事前学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: I-Chun Arthur Liu, Krzysztof Choromanski, Sandy Huang, Connor Schenck

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Leveraging pre-trained 2D image representations in behavior cloning policies has achieved great success and has become a standard approach for robotic manipulation. However, such representations fail to capture the 3D spatial information about objects and scenes that is essential for precise manipulation. In this work, we introduce Contrastive Learning for 3D Multi-View Action-Conditioned Robotic Manipulation Pretraining (CLAMP), a novel 3D pre-training framework that utilizes point clouds and robot actions. From the merged point cloud computed from RGB-D images and camera extrinsics, we re-render multi-view four-channel image observations with depth and 3D coordinates, including dynamic wrist views, to provide clearer views of target objects for high-precision manipulation tasks. The pre-trained encoders learn to associate the 3D geometric and positional information of objects with robot action patterns via contrastive learning on large-scale simulated robot trajectories. During encoder pre-training, we pre-train a Diffusion Policy to initialize the policy weights for fine-tuning, which is essential for improving fine-tuning sample efficiency and performance. After pre-training, we fine-tune the policy on a limited amount of task demonstrations using the learned image and action representations. We demonstrate that this pre-training and fine-tuning design substantially improves learning efficiency and policy performance on unseen tasks. Furthermore, we show that CLAMP outperforms state-of-the-art baselines across six simulated tasks and five real-world tasks. The project website and videos can be found at https://clamp3d.github.io/CLAMP/.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →