日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2505.20425

OSVI-WM: ワールドモデル誘導軌道生成による未見タスクのワンショット視覚模倣

OSVI-WM: One-Shot Visual Imitation for Unseen Tasks using World-Model-Guided Trajectory Generation

シェア:XThreadsFacebookLINEはてブBluesky

世界モデルを用いて専門家動画から潜在軌道を予測し、物理ウェイポイントに変換することで、未見タスクでもワンショット視覚模倣を可能にするフレームワークを提案。

詳しい要約

1. どんなもの?

- ワンショット visual imitation learning の新フレームワーク OSVI-WM を提案する研究。 - エキスパートのデモ動画1本とエージェントの初期観測のみから、追加の fine-tuning なしでポリシーを生成する設定を扱う。 - 学習済み world model を用いて latent 状態と行動の系列を予測し、それを物理的な waypoint にデコードして実行を導く。 - 未見タスクへの汎化を主眼に置く。

2. 先行研究と比べてどこがすごい?

- 既存手法は訓練と評価を同一タスク集合で行い、物体配置の変化のみを扱うことが多く、意味的・構造的に異なる未見タスクへの汎化が弱い。 - 一部の最近手法は未見タスクを扱うが、訓練タスクと視覚的に似ていても文脈が異なり別の応答を要する難しいテストで成功率が低い。 - 多くの既存手法は環境動態の明示的モデルを持たず、将来状態の推論ができない。 - 本手法は world model による将来状態推論を導入し、2つのシミュレーションベンチマークと3つの実機で一貫して先行手法を上回り、一部では30%以上の改善。

3. 技術・手法の肝は?

- 入力はエキスパートのデモ動画とエージェントの初期観測。 - 学習済み world model が latent 状態と行動の系列を予測する。 - 得られた latent trajectory を物理的な waypoint にデコードし、エージェントの実行を誘導する。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- 2つのシミュレーションベンチマークと3つの実世界ロボットプラットフォームで評価。 - 先行手法と比較して一貫して優位、一部ケースで30%以上の改善。 - 具体的なベンチマーク名・タスク・指標は要旨からは不明。

5. 議論はある?

- 未見タスクへの汎化と、視覚的に類似するが文脈の異なる難しいタスクでの低成功率という既存手法の課題を動機にしている。 - world model による将来状態推論の欠如が既存手法の限界として挙げられている。 - 失敗要因の分析や限界、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている個別研究名は記載なし。 - 関連手法として one-shot visual imitation learning、visual imitation learning、world model を用いたモデルベース強化学習/計画の代表的文献を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Raktim Gautam Goswami, Prashanth Krishnamurthy, Yann LeCun, Farshad Khorrami

分類: cs.RO

原文アブストラクト

Visual imitation learning enables robotic agents to acquire skills by observing expert demonstration videos. In the one-shot setting, the agent generates a policy after observing a single expert demonstration without additional fine-tuning. Existing approaches typically train and evaluate on the same set of tasks, varying only object configurations, and struggle to generalize to unseen tasks with different semantic or structural requirements. While some recent methods attempt to address this, they exhibit low success rates on hard test tasks that, despite being visually similar to some training tasks, differ in context and require distinct responses. Additionally, most existing methods lack an explicit model of environment dynamics, limiting their ability to reason about future states. To address these limitations, we propose a novel framework for one-shot visual imitation learning via world-model-guided trajectory generation. Given an expert demonstration video and the agent's initial observation, our method leverages a learned world model to predict a sequence of latent states and actions. This latent trajectory is then decoded into physical waypoints that guide the agent's execution. Our method is evaluated on two simulated benchmarks and three real-world robotic platforms, where it consistently outperforms prior approaches, with over 30% improvement in some cases. The code is available at https://github.com/raktimgg/osvi-wm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI