日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2605.12167

想像された未来から実行可能な行動へ:ロボット操作のための潜在行動の混合

From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ビデオ生成モデルによる未来予測をロボット操作に活用する際、予測フレームを直接ポリシーに渡すのではなく、複数の逆動力学モデルを用いて潜在行動の混合表現に変換する制御指向インターフェースMoLAを提案し、シミュレーションと実機で性能向上を確認した。

詳しい要約

1. どんなもの?

ビデオ生成モデルが予測する長期未来観測を、ロボットマニピュレーションの実行可能な行動に変換する枠組み MoLA (Mixture of Latent Actions) を提案する研究。予測フレームを直接ポリシーに渡すのではなく、事前学習済みの複数の inverse dynamics models の混合により、生成された視覚遷移が示唆する latent actions の混合を推論する。これにより video imagination と policy execution を橋渡しする、制御指向のインターフェースを実現する。

2. 先行研究と比べてどこがすごい?

既存手法は予測フレームをポリシーの条件にするか、生成動画を直接行動にデコードするかのいずれかで、視覚的リアリズムと制御関連性のミスマッチを抱えていた。その結果、予測観測は状態遷移の行動中心的な原因よりも知覚的忠実度を重視し、間接的で不安定な制御につながっていた。MoLA は予測フレームを直接渡さず latent actions の混合に変換することで、このミスマッチを緩和する点が異なる。

3. 技術・手法の肝は?

- 生成された未来動画を、制御指向の実行可能表現に変換するインターフェースを設計 - 事前学習済み inverse dynamics models の混合 (mixture) を利用し、視覚遷移が含意する latent actions の混合を推論 - 各 inverse dynamics model は semantic、depth、flow の相補的な手がかりを捉える modality-aware な構成 - これにより、video imagination と policy execution を結ぶ、構造化され物理的に根拠づけられた行動表現を得る

4. どうやって有効だと検証した?

シミュレーションベンチマーク (LIBERO、CALVIN、LIBERO-Plus) と実世界のロボットマニピュレーションタスクで評価し、タスク成功率、時間的一貫性 (temporal consistency)、汎化性能において一貫した向上を得たと報告している。

5. 議論はある?

要旨からは不明。ただし、視覚的リアリズムと制御関連性のミスマッチという問題設定を明示しており、予測観測が知覚的忠実度に偏る点を課題として議論している。

6. 次に読むべき論文は?

要旨で参照・比較されているのは、予測フレームをポリシーの条件とする手法、生成動画を直接行動にデコードする手法、および inverse dynamics models である。具体的な論文名は要旨からは不明。関連手法として video generation models、inverse dynamics models、LIBERO、CALVIN、LIBERO-Plus が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yajie Li, Bozhou Zhang, Chun Gu, Zipei Ma, Jiahui Zhang, Jiankang Deng, Xiatian Zhu, Li Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Video generation models offer a promising imagination mechanism for robot manipulation by predicting long-horizon future observations, but effectively exploiting these imagined futures for action execution remains challenging. Existing approaches either condition policies on predicted frames or directly decode generated videos into actions, both suffering from a mismatch between visual realism and control relevance. As a result, predicted observations emphasize perceptual fidelity rather than action-centric causes of state transitions, leading to indirect and unstable control. To address this gap, we propose MoLA (Mixture of Latent Actions), a control-oriented interface that transforms imagined future videos into executable representations. Instead of passing predicted frames directly to the policy, MoLA leverages a mixture of pretrained inverse dynamics models to infer a mixture of latent actions implied by generated visual transitions. These modality-aware inverse dynamics models capture complementary semantic, depth, and flow cues, providing a structured and physically grounded action representation that bridges video imagination and policy execution. We evaluate our approach on simulated benchmarks (LIBERO, CALVIN, and LIBERO-Plus) and real-world robot manipulation tasks, achieving consistent gains in task success, temporal consistency, and generalization.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI