日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.24177

自己改善型ビデオ・トゥ・アクションモデル

Self-Improving Video-to-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

環境との相互作用のみでビデオから行動への変換を自己教師あり学習し、視覚プランに従う行動を段階的に改善する手法Mirrorを提案。

詳しい要約

1. どんなもの?

- 本論文は、video generative model を visual planner として使う embodied agent のための video-to-action(inverse dynamics)モデルを、環境との相互作用のみから自己教師的に学習する手法 Mirror を提案する。 - 従来は大規模な human-collected video-action データが必要だったが、Mirror は事前の action データや hand-crafted reward なしで video-to-action 写像を獲得する。 - 対象は Atari、OGBench、DeepMind Control、Minecraft BASALT、Minecraft survival、offline 設定での diamond 獲得など多様な環境。

2. 先行研究と比べてどこがすごい?

- 従来の learning-from-observation 手法は大規模な video-action データセットに依存し、スケーラビリティが制限されていた。 - Mirror は事前 action データや hand-crafted reward を必要とせず、環境相互作用から自己改善的に学習する点が新しい。 - Atari、OGBench、DeepMind Control で learned video plans を用いる leading learning-from-observation 手法を上回り、oracle plans では near-expert 性能を達成。 - Minecraft BASALT では expert actions や hand-engineered task knowledge を持つ手法を上回る。 - Minecraft survival で報酬や expert action labels なしに iron pickaxe を獲得した初の手法。 - offline 設定では expert action labels を用いて diamond…

3. 技術・手法の肝は?

- Mirror は self-supervised に video-to-action 写像を学習する。 - visual plan に従おうとして、その背後にある action の best guess を環境で実行する。 - その結果得られる video-action ペアで訓練し、段階的に自己改善して visual planner により近づく。 - 事前の action データや hand-crafted reward を必要としない点が肝。 - 詳細なアーキテクチャや損失関数は要旨からは不明。

4. どうやって有効だと検証した?

- Atari、OGBench、DeepMind Control で評価し、learned video plans を用いる leading learning-from-observation 手法と比較。 - oracle plans を用いた場合に near-expert 性能を確認。 - Minecraft BASALT で expert actions や hand-engineered task knowledge を持つ手法と比較。 - Minecraft survival で報酬や expert action labels なしに iron pickaxe を獲得できることを実証。 - offline 設定で expert action labels を用い、diamond 獲得の state of the art を更新。

5. 議論はある?

- video model の進歩が、hand-crafted reward や大規模 expert action データを必要とせずにより有能な agent につながる可能性を示唆。 - 一方、visual planner の品質への依存や、自己改善の収束性・安定性、環境相互作用コストなどの議論は要旨からは不明。 - 限界や失敗ケース、計算コスト、実世界ロボティクスへの一般化については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている learning-from-observation 手法、video-to-action / inverse dynamics モデル、video generative model を visual planner として用いる研究。 - 具体的な論文名は要旨に明記されていないため、同分野の定番として video prediction、inverse dynamics model、imitation learning、model-based RL 関連の研究を挙げる。 - Minecraft BASALT や OGBench などベンチマーク関連の研究も次に読む候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyunwoo Ryu, Eric Ming Chen, Max Wilcoxson, Vincent Sitzmann

分類: cs.AI, cs.CV

原文アブストラクト

Video generative models are an emerging tool for embodied agents: they can serve as scalable visual planners, generating videos that depict how to complete previously unseen tasks. However, executing these plans typically requires a video-to-action or "inverse dynamics" model trained on large, human-collected video-action datasets, severely limiting scalability. We introduce Mirror, a self-supervised approach that learns video-to-action mappings through environment interactions, without prior action data or hand-crafted rewards. Mirror learns by attempting to follow a visual plan by executing its best guess of the underlying actions in the environment. Mirror then trains on the resulting video-action pairs, incrementally self-improving and following the visual planner more closely. Across Atari, OGBench, and DeepMind Control, Mirror outperforms leading learning-from-observation methods with learned video plans, and achieves near-expert performance with oracle plans. On Minecraft BASALT, it outperforms methods with access to expert actions or hand-engineered task knowledge. In Minecraft survival, it is the first method to acquire an iron pickaxe through self-improvement alone, without rewards or expert action labels. In the offline setting, with expert action labels but no environment interaction, it sets a new state of the art in obtaining diamonds. Our results suggest that advances in video models can translate into increasingly capable agents without a corresponding need for hand-crafted rewards or large collections of expert action data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI