日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚プランニング/世界モデルarXiv:2609.22816

FIRM-WM: 事実・介入リカレントモデルによる状態分解型の報酬なし視覚プランニング

FIRM-WM: State-factorized factual-interventional recurrent modeling for reward-free visual planning

シェア:XThreadsFacebookLINEはてブBluesky

目標画像と比較可能な状態と履歴依存の動的状態を分離し、事実軌道と介入分岐を組み合わせて学習する報酬なし視覚世界モデルを提案し、複数のタスクで高成功率を達成した。

詳しい要約

1. どんなもの?

- オフライン動画から学習する reward-free な latent world model の枠組み。 - 画像 goal タスクを、予測された latent future 上で action を最適化して解く。 - FIRM-WM は pixel ベースの compact な world model。 - 計画状態を「goal と比較可能な configuration」と「予測用の dynamic fiber」に分離。 - TwoRoom, Reacher, OGBench-Cube で評価。

2. 先行研究と比べてどこがすごい?

- 従来の reward-free latent world model は、goal 座標との比較可能性と履歴依存情報の保持が両立しにくい。 - また offline 訓練では factual な未来1つしか観測できず、planner が比較する多数の action の結果が不足する。 - FIRM-WM は state を factorize し、factual trajectory と common-reset intervention branch を併用。 - 同一 CEM planning 下で LeWM より高成功率: TwoRoom 99.0% vs 89.0%、Reacher 92.7% vs 88.0%、OGBench-Cube 88.0% vs 70.0%。 - パラメータ 2.98–3.42M で planning time も 2.13–11.60× 低減。

3. 技術・手法の肝は?

- recurrent state を、typed で goal と比較可能な configuration と、128次元の dynamic fiber に分離。 - dynamic fiber は予測に使うが、terminal goal cost からは除外。 - factual trajectory で state coverage を確保。 - common-reset intervention branch で代替 action 列の観測結果を取得。 - 各 branch 実行前に環境を reset し、環境の state-setting interface で同じ記録値を復元。

4. どうやって有効だと検証した?

- 3つの独立した full-pipeline seed で検証。 - 同一の CEM planning 条件で比較。 - TwoRoom: 99.0±1.0%、Reacher: 92.7±2.1%、OGBench-Cube: 88.0±3.0%。 - 比較対象 LeWM はそれぞれ 89.0%、88.0%、70.0%。 - モデル規模 2.98–3.42M パラメータ、planning time は 2.13–11.60× 低減。

5. 議論はある?

- 要旨からは、限界や失敗事例、計算コストの詳細な議論は不明。 - 環境の state-setting interface に依存する点が示唆されるが、その制約についての議論は要旨からは不明。 - dynamic fiber の次元数 128 の根拠や感度分析は要旨からは不明。

6. 次に読むべき論文は?

- LeWM(比較対象として明示)。 - CEM planning(計画手法として明示)。 - TwoRoom, Reacher, OGBench-Cube(評価環境として明示)。 - reward-free latent world model や offline model-based planning の同分野定番手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yilun Wu, Yunjian Zhang, Aobo Li, Mujiangshan Wang, Haitao Wu, Aqiang Zhang

分類: cs.LG

原文アブストラクト

Reward-free latent world models can learn from offline videos and solve new image--goal tasks by optimizing actions through predicted latent futures. This setting places two demands on the planning state: its coordinates must be comparable with a goal image. Moreover, its dynamics must retain velocity, motion trend, contact, and other history--dependent information beyond those goal coordinates. Offline training creates a second mismatch: each recorded trajectory reveals one factual future, whereas a sampling--based planner compares many actions that were not taken from the same state. We introduce FIRM-WM (Factual--Interventional Recurrent World Model), a compact pixel world model designed around these two gaps. Its recurrent state separates a typed, goal--comparable configuration from a 128-dimensional dynamic fiber used for prediction but excluded from the terminal goal cost. Broad factual trajectories provide state coverage, while common--reset intervention branches provide observed outcomes for alternative action sequences. Before executing each branch, we reset the environment and restore the same recorded values exposed by the environment's state--setting interface. Under matched CEM planning and three independent full-pipeline seeds, FIRM-WM reaches 99.0$\pm$1.0% on TwoRoom, 92.7$\pm$2.1% on Reacher, and 88.0$\pm$3.0% on OGBench-Cube, compared with 89.0%, 88.0%, and 70.0% for LeWM. The deployed model uses 2.98--3.42M parameters and records 2.13--11.60$\times$ lower planning time on these tasks.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI