日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2606.13817

FlowMo-WM: 物体の運動量と隠れた環境ドリフトを備えた世界モデル

FlowMo-WM: A World Model with Object Momentum and Hidden Ambient Drift

シェア:XThreadsFacebookLINEはてブBluesky

ロボット学習のための世界モデルで、慣性や水流などの隠れた環境ドリフトを考慮し、画像と行動の履歴から物体中心の運動状態と環境コンテキストを分離して予測する手法を提案した。

詳しい要約

1. どんなもの?

- ロボット学習におけるWorld Modelの一種。 - 視覚観測と行動から将来状態を予測する。 - 特に水面上の車両など、慣性と隠れた環境ドリフト(水流や風)の影響を受ける物体を対象。 - 画像と行動の履歴から、物体中心の運動状態と隠れたドリフトに関連する長期履歴コンテキストを推論する。 - 直接的なフロー場の教師なしで学習可能。

2. 先行研究と比べてどこがすごい?

- 従来の行動条件付きモデルは、運動が即時制御に支配される設定で評価されることが多い。 - 本研究は、慣性と隠れた環境ドリフトが支配する現実的な設定に焦点。 - 代表的な行動条件付き潜在World Modelと比較して、長期的なロールアウト精度を改善。 - 隠れたドリフト下での安定予測に、推論された環境コンテキストが重要であることを示す。

3. 技術・手法の肝は?

- 画像と行動の履歴を、短期履歴潜在状態と長期履歴コンテキストに因子分解。 - 短期履歴潜在状態は物体中心の運動を要約するように訓練。 - 長期履歴コンテキストはゆっくり変化する外生的影響を要約するように訓練。 - ゼロコンテキスト残差遷移により、行動条件付き基本ダイナミクスとコンテキスト依存ドリフト効果を分離。 - 潜在ロールアウト中にこの分離を利用。

4. どうやって有効だと検証した?

- 多様な隠れた流れ、外乱、ランダム化された車両ダイナミクスを持つシミュレーション水中表面車両環境で評価。 - 長期的なロールアウト精度を代表的な行動条件付き潜在World Modelと比較。 - 予測時のコンテキストアブレーション(推論されたコンテキストをゼロ化またはシャッフル)を実施。 - 凍結線形プローブにより学習された因子にエンコードされた情報を特徴付ける。

5. 議論はある?

- 予測時のコンテキストアブレーションにより、隠れたドリフト下での安定予測に環境コンテキストが重要であることを示す。 - 凍結線形プローブにより、学習された因子が情報をエンコードしていることを特徴付ける。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:代表的な行動条件付き潜在World Model(具体的名称は要旨に記載なし)。 - 関連手法:World Model、行動条件付き潜在モデル、物体中心表現学習、隠れた環境ドリフトのモデリング。 - 同分野の定番:Dreamer、PlaNet、SimPLeなどが考えられるが、要旨での直接参照は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yitao Jiang, Luyang Zhao, Muhao Chen, Devin Balkcom

分類: cs.RO, cs.LG

原文アブストラクト

World models in robot learning predict future states from visual observations and actions, enabling agents to reason about the consequences of their controls. However, many action-conditioned models are evaluated in settings where motion is dominated by immediate control, whereas aquatic surface vehicles and other real-world objects continue moving under inertia and are displaced by hidden ambient drift, such as water currents or wind. We propose FlowMo-WM, an end-to-end trainable visual world model that infers object-centric motion state and a predictive long-history context associated with hidden drift from image-action histories without direct supervision of flow fields. FlowMo-WM factorizes image-action history into a short-history latent state, trained to summarize object-centric motion, and a longer-history context, trained to summarize slowly varying exogenous influences. A zero-context residual transition separates action-conditioned base dynamics from context-dependent drift effects during latent rollout. In simulated aquatic surface-vehicle environments with diverse hidden flows, disturbances, and randomized vehicle dynamics, FlowMo-WM improves long-horizon rollout accuracy over representative action-conditioned latent world models. Prediction-time context ablations, in which the inferred context is zeroed or shuffled during rollout, show that the ambient context is important for stable prediction under hidden drift, while frozen linear probes characterize information encoded in the learned factors.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI