日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2505.04860

D-CODA: 協調的双腕データ拡張のための拡散モデル

D-CODA: Diffusion for Coordinated Dual-Arm Data Augmentation

シェア:XThreadsFacebookLINEはてブBluesky

アイインハンド型双腕模倣学習のためのオフライン拡散ベースデータ拡張手法を提案し、両腕の視点整合画像と関節空間行動ラベルを生成する。

詳しい要約

1. どんなもの?

- 両腕マニピュレーションの eye-in-hand 模倣学習向けの offline データ拡張手法 D-CODA を提案する研究。 - 両腕の wrist-mounted camera 画像を新規視点で合成し、同時に joint-space action label も生成する。 - diffusion model を用いて viewpoint-consistent な観測を作る点が中心。 - 5 つの simulated タスクと 3 つの real-world タスクで評価。

2. 先行研究と比べてどこがすごい?

- 先行研究は single-arm 設定での visual augmentation が中心だった。 - 両腕では両アーム間で viewpoint-consistent な観測生成と、valid かつ feasible な action label の生成が必要になる。 - D-CODA はこの両方を同時に扱う点が先行研究と異なる。 - eye-in-hand bimanual imitation learning に特化した offline データ拡張を実現。

3. 技術・手法の肝は?

- diffusion model により、両腕の wrist-camera 画像を新規かつ viewpoint-consistent に合成する。 - 合成と同時に joint-space action label を生成する。 - constrained optimization を導入し、gripper-to-object contacts を含む augmented state が両腕協調に適した制約を満たすようにする。 - eye-in-hand 設定を前提に、タスク関連視点に焦点を当てた観測を拡張する。

4. どうやって有効だと検証した?

- 5 つの simulated タスクと 3 つの real-world タスクで評価。 - 2250 回の simulation trials と 300 回の real-world trials を実施。 - baselines および ablations と比較し、D-CODA が優位であることを示した。 - scalable なデータ拡張の可能性を示唆する結果。

5. 議論はある?

- 要旨からは不明。 - 制約付き最適化や diffusion 生成の限界、失敗ケース、計算コストなどは要旨では明示されていない。 - 実世界 3 タスク・300 trials の範囲での有効性が示される一方、一般化やスケール性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照されている先行研究は明示されていない。 - 関連手法として single-arm の visual augmentation、eye-in-hand imitation learning、diffusion model によるデータ生成、bimanual manipulation の模倣学習を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: I-Chun Arthur Liu, Jason Chen, Gaurav Sukhatme, Daniel Seita

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Learning bimanual manipulation is challenging due to its high dimensionality and tight coordination required between two arms. Eye-in-hand imitation learning, which uses wrist-mounted cameras, simplifies perception by focusing on task-relevant views. However, collecting diverse demonstrations remains costly, motivating the need for scalable data augmentation. While prior work has explored visual augmentation in single-arm settings, extending these approaches to bimanual manipulation requires generating viewpoint-consistent observations across both arms and producing corresponding action labels that are both valid and feasible. In this work, we propose Diffusion for COordinated Dual-arm Data Augmentation (D-CODA), a method for offline data augmentation tailored to eye-in-hand bimanual imitation learning that trains a diffusion model to synthesize novel, viewpoint-consistent wrist-camera images for both arms while simultaneously generating joint-space action labels. It employs constrained optimization to ensure that augmented states involving gripper-to-object contacts adhere to constraints suitable for bimanual coordination. We evaluate D-CODA on 5 simulated and 3 real-world tasks. Our results across 2250 simulation trials and 300 real-world trials demonstrate that it outperforms baselines and ablations, showing its potential for scalable data augmentation in eye-in-hand bimanual manipulation. Our project website is at: https://dcodaaug.github.io/D-CODA/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI