日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.21437

CoDA: 関節物体の全身操作のための協調拡散ノイズ最適化

CoDA: Coordinated Diffusion Noise Optimization for Whole-Body Manipulation of Articulated Objects

シェア:XThreadsFacebookLINEはてブBluesky

身体・左右の手の3つの拡散モデルをノイズ空間で協調最適化し、関節物体を高精度に全身操作する動作を生成する手法を提案。

詳しい要約

1. どんなもの?

- 関節物体の全身マニピュレーション(体・左右の手・物体の運動)を合成するタスクに取り組む研究 - 課題は2点:手と体の相互依存的な協調、および高自由度で高精度な手指配置を要する関節物体操作 - 解決のため coordinated diffusion noise optimization と呼ぶ枠組みを提案 - 体・左手・右手それぞれの diffusion model の noise space 上で最適化を行う - 応用先として virtual humans と robotics を想定

2. 先行研究と比べてどこがすごい?

- 既存手法との具体的な比較は要旨からは不明 - 主張として、motion quality と physical plausibility で既存手法を上回ると述べる - 体・左手・右手を別々の diffusion model に分け、各々独自の motion dataset で学習することで汎化性を高める点が特徴 - 協調を明示的な設計ではなく kinematic chain に沿った勾配流から自然に獲得する点が独自 - BPS による統一表現で hand-object interaction の精度を高める点が新規

3. 技術・手法の肝は?

- 体・左手・右手の3つの specialized diffusion models をそれぞれ別データセットで学習 - 各モデルの noise space 上で最適化(noise-space optimization)を実行 - 協調は human kinematic chain に沿った gradient flow により創発し、手の運動目標に応じて全身姿勢が適応 - basis point sets (BPS) に基づく統一表現を採用し、end-effector 位置を物体形状と同じ BPS への距離で符号化 - この表現で手と関節物体部位の細粒度な空間関係を捉え、得られた軌道を目標として diffusion noise 最適化を誘導

4. どうやって有効だと検証した?

- extensive experiments を実施したと記載 - motion quality と physical plausibility で既存手法を上回ることを示す - object pose control、同時の walking and manipulation、hand-only data からの whole-body generation などの能力を実証 - 具体的なデータセット名・評価指標・被験者実験の有無は要旨からは不明

5. 議論はある?

- 限界や失敗事例に関する議論は要旨からは不明 - 3モデル分割と noise-space optimization の計算コストや収束性への言及は要旨からは不明 - BPS 表現の汎化性や物体カテゴリ依存性についての議論は要旨からは不明 - 実機ロボットへの転移可能性の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として diffusion model による human motion generation(例:MDM などの diffusion-based motion synthesis) - 関連表現として basis point sets (BPS) を用いた形状表現研究 - 関連タスクとして articulated object manipulation および whole-body manipulation の研究 - 関連概念として kinematic chain に沿った gradient-based optimization を用いる手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huaijin Pi, Zhi Cen, Zhiyang Dou, Taku Komura

分類: cs.GR, cs.CV, cs.RO

原文アブストラクト

Synthesizing whole-body manipulation of articulated objects, including body motion, hand motion, and object motion, is a critical yet challenging task with broad applications in virtual humans and robotics. The core challenges are twofold. First, achieving realistic whole-body motion requires tight coordination between the hands and the rest of the body, as their movements are interdependent during manipulation. Second, articulated object manipulation typically involves high degrees of freedom and demands higher precision, often requiring the fingers to be placed at specific regions to actuate movable parts. To address these challenges, we propose a novel coordinated diffusion noise optimization framework. Specifically, we perform noise-space optimization over three specialized diffusion models for the body, left hand, and right hand, each trained on its own motion dataset to improve generalization. Coordination naturally emerges through gradient flow along the human kinematic chain, allowing the global body posture to adapt in response to hand motion objectives with high fidelity. To further enhance precision in hand-object interaction, we adopt a unified representation based on basis point sets (BPS), where end-effector positions are encoded as distances to the same BPS used for object geometry. This unified representation captures fine-grained spatial relationships between the hand and articulated object parts, and the resulting trajectories serve as targets to guide the optimization of diffusion noise, producing highly accurate interaction motion. We conduct extensive experiments demonstrating that our method outperforms existing approaches in motion quality and physical plausibility, and enables various capabilities such as object pose control, simultaneous walking and manipulation, and whole-body generation from hand-only data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI