日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.11296

拡散モデルによる想像的協調で両手マニピュレーションを実現

Diffusion-Based Imaginative Coordination for Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

動画予測と行動予測を拡散モデルで統合し、推論時には動画予測を省略できる効率的な両手操作フレームワークを提案。シミュレーションと実機で成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- 両腕マニピュレーション(bimanual manipulation)のための、diffusion-basedな統合フレームワーク。 - video predictionとaction predictionをjointに最適化する。 - 推論時にはvideo predictionを省略できる設計。 - 高次元action spaceと複雑なcoordinationが課題であるbimanual manipulationの性能向上を狙う。

2. 先行研究と比べてどこがすごい?

- video predictionはrepresentation learningやcontrolで研究されてきたが、bimanual coordinationへの活用は未探索だった点に着目。 - 強いbaselineであるACTと比較し、success rateを大幅改善。 - ALOHAで24.9%増、RoboTwinで11.1%増、real-worldで32.5%増。 - video predictionを推論時に省けるため効率性も確保している点が特徴。

3. 技術・手法の肝は?

- videoとactionのpredictionを統合したdiffusion-based framework。 - multi-frame latent prediction strategy: 未来状態を圧縮latent spaceでencodeし、task-relevant featuresを保持。 - unidirectional attention mechanismを導入。 - video predictionはactionにconditionされる。 - action predictionはvideo predictionから独立。 - この設計により推論時にvideo predictionを省略でき、効率を大きく向上。

4. どうやって有効だと検証した?

- 2つのsimulated benchmarks(ALOHA, RoboTwin)とreal-world settingで実験。 - 強いbaselineのACTと比較してsuccess rateが向上。 - ALOHAで24.9%増、RoboTwinで11.1%増、real-worldで32.5%増。 - コードとモデルは公開されている。

5. 議論はある?

- 要旨からは不明。 - 想定される論点としては、video predictionを推論時に省略する設計の限界、latent predictionの圧縮による情報損失、real-worldでの汎化性などが考えられるが、要旨には明記されていない。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられているACT。 - video predictionを用いたrepresentation learning/controlの関連研究(具体的な論文名は要旨からは不明)。 - diffusion-basedなaction predictionやbimanual manipulationの関連手法(具体的な論文名は要旨からは不明)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huilin Xu, Jian Ding, Jiakun Xu, Ruixiang Wang, Jun Chen, Jinjie Mai, Yanwei Fu, Bernard Ghanem, Feng Xu, Mohamed Elhoseiny

分類: cs.RO

原文アブストラクト

Bimanual manipulation is crucial in robotics, enabling complex tasks in industrial automation and household services. However, it poses significant challenges due to the high-dimensional action space and intricate coordination requirements. While video prediction has been recently studied for representation learning and control, leveraging its ability to capture rich dynamic and behavioral information, its potential for enhancing bimanual coordination remains underexplored. To bridge this gap, we propose a unified diffusion-based framework for the joint optimization of video and action prediction. Specifically, we propose a multi-frame latent prediction strategy that encodes future states in a compressed latent space, preserving task-relevant features. Furthermore, we introduce a unidirectional attention mechanism where video prediction is conditioned on the action, while action prediction remains independent of video prediction. This design allows us to omit video prediction during inference, significantly enhancing efficiency. Experiments on two simulated benchmarks and a real-world setting demonstrate a significant improvement in the success rate over the strong baseline ACT using our method, achieving a \textbf{24.9\%} increase on ALOHA, an \textbf{11.1\%} increase on RoboTwin, and a \textbf{32.5\%} increase in real-world experiments. Our models and code are publicly available at https://github.com/return-sleep/Diffusion_based_imaginative_Coordination.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI