日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.22205

見て想像する:人間の実演と未来予測による長期的マニピュレーションの誘導

From Watch to Imagine: Steering Long-horizon Manipulation via Human Demonstration and Future Envisionment

シェア:XThreadsFacebookLINEはてブBluesky

人間の実演動画から手順意図を推論し、生成モデルで未来の動画ロールアウトを合成して低レベル制御を導く階層的フレームワークSuper-Mimicを提案し、長期的マニピュレーションタスクでゼロショット手法を20%以上上回った。

詳しい要約

1. どんなもの?

- 長期的な manipulation タスクを zero-shot で実行するための階層型フレームワーク Super-Mimic を提案 - 台本なしの人間の demonstration 動画から手続き的意図を直接推論し、ロボットの imitation を実現 - 2つの逐次モジュールで構成 - Human Intent Translator (HIT): 動画を multimodal reasoning で解析し、言語で根拠づけられた subtask 列を生成 - Future Dynamics Predictor (FDP): 各 subtask を条件に、物理的に妥当な video rollout を生成モデルで合成 - 生成された視覚 trajectory は dynamics-aware で、物体相互作用や接触点を明示的にモデル化し低レベル controller を導く

2. 先行研究と比べてどこがすごい?

- 既存の multimodal foundation ベース手法は、静的な視覚入力のみから高レベル命令を実行可能な action 列へ分解できないことが多い - Super-Mimic は unscripted な人間動画から手続き的意図を推論し、zero-shot で長期的 manipulation を実現 - 長期的 manipulation タスク群の実験で、state-of-the-art の zero-shot 手法を 20% 以上上回る - video 駆動の意図解析と将来 dynamics モデリングの結合が汎用ロボットシステムに有効であることを示す

3. 技術・手法の肝は?

- 階層型構成: HIT と FDP の2モジュール - HIT は入力動画を multimodal reasoning で解析し、言語で根拠づけられた subtask 列を出力 - FDP は generative model を用い、各 subtask を条件に物理的に妥当な video rollout を合成 - 生成された視覚 trajectory は dynamics-aware で、物体相互作用と接触点を明示的にモデル化 - これらの trajectory が低レベル controller の guidance として機能

4. どうやって有効だと検証した?

- 長期的 manipulation タスク群に対する広範な実験で検証 - Super-Mimic が state-of-the-art の zero-shot 手法を 20% 以上上回る性能を示す - 具体的なタスク名・データセット名・評価指標は要旨からは不明

5. 議論はある?

- video 駆動の意図解析と将来 dynamics モデリングの結合が汎用ロボットシステムに有効な戦略であると結論 - 限界・失敗事例・計算コスト・実機展開の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている state-of-the-art の zero-shot 手法(具体的名称は要旨からは不明) - multimodal foundation ベースのロボティクス手法 - 階層型 manipulation における subtask 分解手法 - video generation を用いた dynamics modeling / video rollout に基づく planning 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ke Ye, Jiaming Zhou, Yuanfeng Qiu, Jiayi Liu, Shihui Zhou, Kun-Yu Lin, Junwei Liang

分類: cs.RO

原文アブストラクト

Generalizing to long-horizon manipulation tasks in a zero-shot setting remains a central challenge in robotics. Current multimodal foundation based approaches, despite their capabilities, typically fail to decompose high-level commands into executable action sequences from static visual input alone. To address this challenge, we introduce Super-Mimic, a hierarchical framework that enables zero-shot robotic imitation by directly inferring procedural intent from unscripted human demonstration videos. Our framework is composed of two sequential modules. First, a Human Intent Translator (HIT) parses the input video using multimodal reasoning to produce a sequence of language-grounded subtasks. These subtasks then condition a Future Dynamics Predictor (FDP), which employs a generative model that synthesizes a physically plausible video rollout for each step. The resulting visual trajectories are dynamics-aware, explicitly modeling crucial object interactions and contact points to guide the low-level controller. We validate this approach through extensive experiments on a suite of long-horizon manipulation tasks, where Super-Mimic significantly outperforms state-of-the-art zero-shot methods by over 20%. These results establish that coupling video-driven intent parsing with prospective dynamics modeling is a highly effective strategy for developing general-purpose robotic systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI