日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2512.14217

DRAW2ACT:深度エンコード軌道からロボット実演動画を生成

DRAW2ACT: Turning Depth-Encoded Trajectories into Robotic Demonstration Videos

シェア:XThreadsFacebookLINEはてブBluesky

入力軌道から深度・意味・形状・動きの表現を抽出し、RGBと深度の動画を同時生成する拡散モデルを提案。生成動画から関節角度を回帰する方策も導入し、操作成功率を向上させた。

詳しい要約

1. どんなもの?

- 深度を考慮したtrajectory-conditioned video generationフレームワークDRAW2ACTを提案 - 入力trajectoryからdepth・semantics・shape・motionの複数の直交表現を抽出しdiffusion modelに注入 - 空間的に整合したRGB動画とdepth動画を同時生成 - 生成したRGB/depth系列を条件とするmultimodal policy modelでrobotのjoint anglesを回帰 - 目的はembodied AI向けの制御可能で一貫性のあるrobotic demonstration video生成

2. 先行研究と比べてどこがすごい?

- 既存のtrajectory-conditioned video generationは2D trajectoryや単一モダリティ条件に依存しがち - それにより制御可能性と一貫性が制限されていた - DRAW2ACTはdepth-awareな複数表現の注入によりこれを改善 - RGBとdepthの同時生成とcross-modality attention・depth supervisionで時空間一貫性を強化 - 生成動画から直接joint anglesを回帰する点で先行手法と異なる - 定量的優位性の詳細は要旨からは不明

3. 技術・手法の肝は?

- trajectoryからdepth・semantics・shape・motionの直交表現を抽出しdiffusion modelへ注入 - 空間的に整合するRGB動画とdepth動画をjointlyに生成 - cross-modality attention mechanismsを採用 - depth supervisionを利用してspatio-temporal consistencyを向上 - 生成されたRGB/depth系列に条件付けられたmultimodal policy modelでjoint anglesを回帰

4. どうやって有効だと検証した?

- Bridge V2およびBerkeley Autolabでの実験 - simulation benchmarksでの評価 - 既存baselinesと比較して高いvisual fidelityとconsistencyを達成 - より高いmanipulation success ratesを得たと報告 - 具体的な指標値や被験者数は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、実機展開の議論は明示されていない - depth supervisionやcross-modality attentionの寄与度分析も要旨からは不明

6. 次に読むべき論文は?

- trajectory-conditioned video generationの先行研究(2D trajectoryや単一モダリティ条件の手法) - video diffusion models for embodied AI - Bridge V2およびBerkeley Autolabのデータセット論文 - multimodal policy learningによるjoint angle回帰の関連研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Bai, Liudi Yang, George Eskandar, Fengyi Shen, Mohammad Altillawi, Ziyuan Liu, Gitta Kutyniok

分類: cs.CV, cs.RO

原文アブストラクト

Video diffusion models provide powerful real-world simulators for embodied AI but remain limited in controllability for robotic manipulation. Recent works on trajectory-conditioned video generation address this gap but often rely on 2D trajectories or single modality conditioning, which restricts their ability to produce controllable and consistent robotic demonstrations. We present DRAW2ACT, a depth-aware trajectory-conditioned video generation framework that extracts multiple orthogonal representations from the input trajectory, capturing depth, semantics, shape and motion, and injects them into the diffusion model. Moreover, we propose to jointly generate spatially aligned RGB and depth videos, leveraging cross-modality attention mechanisms and depth supervision to enhance the spatio-temporal consistency. Finally, we introduce a multimodal policy model conditioned on the generated RGB and depth sequences to regress the robot's joint angles. Experiments on Bridge V2, Berkeley Autolab, and simulation benchmarks show that DRAW2ACT achieves superior visual fidelity and consistency while yielding higher manipulation success rates compared to existing baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI