日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画生成arXiv:2508.13104

視覚的行動プロンプトによる精密な行動から動画の生成

Precise Action-to-Video Generation Through Visual Action Prompts

シェア:XThreadsFacebookLINEはてブBluesky

行動を視覚的な骨格プロンプトとして描画し、ドメインをまたいで複雑な高自由度インタラクションを精密に制御できる動画生成手法を提案。

詳しい要約

1. どんなもの?

- 複雑で高DoFのinteractionを対象に、actionからvideoを生成するための統一的action表現「visual action prompts」を提案する研究。 - actionをdomain-agnosticなvisual promptとして「render」し、geometric precisionとcross-domain transferabilityの両立を狙う。 - 具体的にはvisual skeletonsをaction表現として採用する。

2. 先行研究と比べてどこがすごい?

- 既存のtext・primitive actions・coarse masksはgeneralityは高いがprecisionに欠ける。 - agent-centricなaction signalsはprecisionは高いがcross-domain transferabilityを犠牲にする。 - 本研究はprecisionとgeneralityのtrade-offに対し、visual skeletonsをdomain-agnostic表現として用いることで両立を図る点が異なる。

3. 技術・手法の肝は?

- actionをvisual skeletonとして「render」し、domain-agnosticかつgeometric precisionを保つvisual action promptとする。 - HOI(human-object interactions)とdexterous robotic manipulationというinteraction-richな2つのdata sourceからskeletonを構築するrobust pipelineを設計。 - これによりaction-driven generative modelのcross-domain trainingを可能にする。 - pretrained video generation modelにvisual skeletonsをlightweight fine-tuningで統合し、複雑なinteractionのprecise action controlとcross-domain dynamicsの学習を両立。

4. どうやって有効だと検証した?

- EgoVid、RT-1、DROIDでのexperimentsにより提案手法の有効性を示した。 - 具体的な評価指標や比較手法の詳細は要旨からは不明。

5. 議論はある?

- action precisionとdynamic transferabilityのtrade-offをvisual skeletonで緩和する設計思想が議論の中心。 - skeleton構築pipelineの頑健性や、HOIとrobotic manipulation間のcross-domain性の限界については要旨からは不明。 - lightweight fine-tuningでpretrained modelのcross-domain dynamics学習を保持できるかという点も要旨からは不明。

6. 次に読むべき論文は?

- EgoVid、RT-1、DROID(本論文でexperimentsに用いたdataset)。 - agent-centric action signalsを用いるaction-to-video生成の先行手法。 - text・primitive actions・coarse masksをaction条件に用いるvideo generation手法。 - visual skeletonsやpose-based representationを条件とするvideo generation研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuang Wang, Chao Wen, Haoyu Guo, Sida Peng, Minghan Qin, Hujun Bao, Xiaowei Zhou, Ruizhen Hu

分類: cs.CV, cs.RO

原文アブストラクト

We present visual action prompts, a unified action representation for action-to-video generation of complex high-DoF interactions while maintaining transferable visual dynamics across domains. Action-driven video generation faces a precision-generality trade-off: existing methods using text, primitive actions, or coarse masks offer generality but lack precision, while agent-centric action signals provide precision at the cost of cross-domain transferability. To balance action precision and dynamic transferability, we propose to "render" actions into precise visual prompts as domain-agnostic representations that preserve both geometric precision and cross-domain adaptability for complex actions; specifically, we choose visual skeletons for their generality and accessibility. We propose robust pipelines to construct skeletons from two interaction-rich data sources - human-object interactions (HOI) and dexterous robotic manipulation - enabling cross-domain training of action-driven generative models. By integrating visual skeletons into pretrained video generation models via lightweight fine-tuning, we enable precise action control of complex interaction while preserving the learning of cross-domain dynamics. Experiments on EgoVid, RT-1 and DROID demonstrate the effectiveness of our proposed approach. Project page: https://zju3dv.github.io/VAP/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI