日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2611.22294

知覚を想像へ:世界モデルのための実行可能な記憶

Perception into Imagination: Executable Memory for World Models

シェア:XThreadsFacebookLINEはてブBluesky

視界や接触が失われた後も過去の知覚情報を保持・活用する世界モデル「実行可能知覚記憶(EPM)」を提案し、Memory MazeやMiniWorldで制御性能の向上を示した。

詳しい要約

1. どんなもの?

- 物理エージェントが視界や接触を失った後も、以前見た/触れた情報を利用するための **executable perceptual memory (EPM)** という world-model フレームワーク。 - imagination 中に、明示的な perceptual state を neural latent dynamics と並行して進化させる。 - その進化する read-out が reward prediction・value estimation・policy learning に情報を与える。 - Memory Maze・MiniWorld などの環境で評価。

2. 先行研究と比べてどこがすごい?

- 同じ進化する read-out を policy と value のみに使う共通 perceptual front end と比較し、Memory Maze $13\times13$ で 1M interactions 時に return 30.37 対 23.37(利得 7.00 [3.80, 10.21])。 - 完全な手法は $9\times9$ と MiniWorld でも制御性能を改善。 - 記憶した事実を imagination 中の reward 予測・学習信号に結びつける点が特徴。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- **executable perceptual memory (EPM)**: imagination 中に明示的な perceptual state を neural latent dynamics とともに進化させる world-model。 - 進化する read-out を reward prediction・value estimation・policy learning に供給。 - reward 入力を、それを生んだ transitions に整合させる。 - reward head を、記録された actions の open-loop rollouts 上で supervision。

4. どうやって有効だと検証した?

- Memory Maze $13\times13$ で 1M interactions 時の return を比較(30.37 対 23.37、利得 7.00 [3.80, 10.21])。 - $9\times9$ と MiniWorld で制御性能の改善を確認。 - 記憶された out-of-view arrivals の probe で、両 visual 実装において reward anticipation が強いことを確認。 - concentration・tactile recovery・real tactile frames により、記憶した事実の相補的役割を示す。

5. 議論はある?

- 記憶した事実が imagined-policy training・motion-dependent decisions・sensory-content retention で相補的な役割を果たすことを示唆。 - EPM は persistent perception を world model の予測結果・学習信号に接続する。 - 限界や失敗ケース、計算コストなどの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な先行研究は不明。 - 関連手法として world model・neural latent dynamics・Memory Maze・MiniWorld に関する研究を挙げる。 - 同分野の定番として Dreamer 系の world model や model-based RL の研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianyao Li, Ruitong Tian, Rui Min, Fang Xu, Jing Du

分類: cs.LG, cs.AI, cs.CV, cs.RO

原文アブストラクト

Physical agents must use what they previously saw or touched after visibility or contact is lost. Their actions change the implications of these remembered facts. We introduce executable perceptual memory (EPM), a world-model framework that advances explicit perceptual state alongside neural latent dynamics during imagination. Its evolving read-out informs reward prediction, value estimation and policy learning. We align reward inputs with the transitions that produced them and supervise the reward head on open-loop rollouts of recorded actions. On Memory Maze $13\times13$, EPM reaches 30.37 return at 1M interactions, compared with 23.37 when the same evolving read-out informs only policy and value on a common perceptual front end: a gain of 7.00 [3.80, 10.21]. The complete method also improves control on $9\times9$ and in MiniWorld. Probes of remembered, out-of-view arrivals show stronger reward anticipation in both visual implementations. Concentration, tactile recovery and real tactile frames demonstrate complementary roles of remembered facts in imagined-policy training, motion-dependent decisions and sensory-content retention. EPM connects persistent perception to the predicted consequences and learning signals of a world model for Physical AI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5NTT、ロボットの行動前に荷崩れを予測研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI