日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2605.18813

拡散ワールドモデルのための記憶専門家の構成

Composition of Memory Experts for Diffusion World Models

シェア:XThreadsFacebookLINEはてブBluesky

拡散ベースのワールドモデルにおいて、短期・長期・空間記憶の専門家を対照的な専門家積で統合し、過去の観測との整合性を保ちつつ長いコンテキストを効率的に扱う手法を提案した。

詳しい要約

1. どんなもの?

拡散モデルベースの世界モデルにおいて、記憶のトレードオフを克服するため、複数の専門家を組み合わせる枠組みを提案。短期記憶、長期記憶、空間長期記憶の3つの役割を統合し、将来予測の一貫性を高める。

2. 先行研究と比べてどこがすごい?

従来のTransformerは局所詳細を保つが二次の注意コスト、再帰・状態空間モデルは効率的だが履歴圧縮で忠実度が低下。提案法はこれらを単一アーキテクチャで解決せず、専門家の組み合わせでトレードオフを回避。

3. 技術・手法の肝は?

拡散ベースのフレームワークで、異種記憶モデルを対照的積の専門家(contrastive product-of-experts)で統合。短期記憶専門家、長期記憶専門家(軽量テスト時微調整で外部拡散重みにエピソード履歴を保存)、空間長期記憶専門家(幾何・空間的一貫性を強制)の3役をインスタンス化。モード崩壊を回避し、二次コストなしで長文脈にスケール。

4. どうやって有効だと検証した?

シミュレーションおよび実世界ベンチマークで評価し、時間的一貫性、過去観測の想起、ナビゲーション性能が向上することを確認。

5. 議論はある?

要旨からは不明。

6. 次に読むべき論文は?

Transformer、recurrent models、state-space models、diffusion world models、product-of-expertsに関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sebastian Stapf, Pablo Acuaviva Huertos, Aram Davtyan, Paolo Favaro

分類: cs.LG, cs.AI

原文アブストラクト

World models aim to predict plausible futures consistent with past observations, a capability central to planning and decision-making in reinforcement learning. Yet, existing architectures face a fundamental memory trade-off: transformers preserve local detail but are bottlenecked by quadratic attention, while recurrent and state-space models scale more efficiently but compress history at the cost of fidelity. To overcome this trade-off, we suggest decoupling future-past consistency from any single architecture and instead leveraging a set of specialized experts. We introduce a diffusion-based framework that integrates heterogeneous memory models through a contrastive product-of-experts formulation. Our approach instantiates three complementary roles: a short-term memory expert that captures fine local dynamics, a long-term memory expert that stores episodic history in external diffusion weights via lightweight test-time finetuning, and a spatial long-term memory expert that enforces geometric and spatial coherence. This compositional design avoids mode collapse and scales to long contexts without incurring a quadratic cost. Across simulated and real-world benchmarks, our method improves temporal consistency, recall of past observations, and navigation performance, establishing a novel paradigm for building and operating memory-augmented diffusion world models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI