日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.27677

DiM-WAM: 多様な履歴イベントメモリを用いた世界行動モデリング

DIM-WAM: World-Action Modeling with Diverse Historical Event Memory

シェア:XThreadsFacebookLINEはてブBluesky

長期依存タスク向けに、多スケールの履歴コンテキストとタスク進捗を統合したメモリ拡張型世界行動モデルを提案し、ロボット操作の成功率を大幅に向上させた。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの World-Action Model である DiM-WAM を提案 - 将来の視覚状態と行動を同時予測する枠組みに memory を統合 - 短期履歴と短期未来予測のみに依存する既存手法の問題を対象 - 長期horizonタスクでの長期忘却と global task state 認識不足に対処 - 多スケール履歴文脈・局所未来動学・global task progress を統合 - 実観測から compact な visual event 情報を抽出する memory を導入

2. 先行研究と比べてどこがすごい?

- 既存の world-action model は短期履歴・短期未来予測中心で長期依存タスクに弱い - DiM-WAM は multi-scale historical context と global task progress を明示的に扱う - RMBench で LingBot-VA の 28.4% から 69.8% へ平均成功率を向上 - 明示的 memory を持つ Mem-0 baseline の 42.0% も上回る - 実世界 Franka 4 タスクで stage success 70.7%→91.5%、full-task 52.5%→80.0% - 長期忘却と global task state 認識の改善を示す点が先行研究との差分

3. 技術・手法の肝は?

- memory-augmented world-action model として DiM-WAM を構成 - memory が実観測から compact な visual event 情報を抽出 - 独立した similarity-based merging で複数の memory bank を更新 - bank-identity と time を埋め込んだ long-term context を読み出す - その context で video と action の denoising を条件付け - progress-supervision objective で memory token に完了履歴だけでなく現在 stage と残タスク含意を符号化させる

4. どうやって有効だと検証した?

- RMBench 上で評価し、LingBot-VA の 28.4% から 69.8% へ平均成功率改善 - 明示的 memory の Mem-0 baseline 42.0% を上回ることを確認 - 実世界 Franka の 4 タスクで検証 - stage success が 70.7% から 91.5% へ向上 - full-task success が 52.5% から 80.0% へ向上 - project page で結果を公開

5. 議論はある?

- 長期horizonタスクでは短期履歴・短期未来予測だけでは不十分という課題意識 - 補完的な時間情報として recent local context、cross-stage historical events、immediate future dynamics、global task progress が必要と主張 - 長期忘却と global task state 認識不足への対処が中心的議論 - memory bank の similarity-based merging や progress-supervision の設計意図が議論点 - 具体的な限界や失敗事例は要旨からは不明

6. 次に読むべき論文は?

- LingBot-VA(比較対象の world-action model) - Mem-0(明示的 memory baseline) - RMBench(評価 benchmark) - world-action model 全般の関連研究 - memory-augmented robot manipulation の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kai Wang, Zhaopeng Gu, Yixiang Chen, Yuan Xu, Qisen Ma, Jiabing Yang, Zhaowen Li, Yan Huang, Liang Wang, Peng Su

分類: cs.RO, cs.CV

原文アブストラクト

World-action models have shown promising robot-manipulation performance by jointly predicting future visual states and actions. However, existing methods mainly rely on short-term history and short-horizon future prediction, which is insufficient for long-horizon tasks whose correct execution depends on earlier observations and task progress. Such temporally dependent tasks require effective use of complementary temporal information, including recent local context, cross-stage historical events, immediate future dynamics, and global task progress. To address long-term forgetting and poor awareness of the global task state, we introduce DiM-WAM, a memory-augmented world-action model that integrates multi-scale historical context, local future dynamics, and global task progress. The memory extracts compact visual event information from real observations, updates multiple memory banks through independent similarity-based merging, and then reads the bank-identity- and time-embedded long-term context to condition video and action denoising. A progress-supervision objective further encourages memory tokens to encode not only completed historical events but also the current task stage and its implications for the remaining task. On RMBench, DiM-WAM raises average success from 28.4% with LingBot-VA to 69.8%, exceeding the explicit-memory Mem-0 baseline at 42.0%. On four real-world Franka tasks, it improves average stage success from 70.7% to 91.5% and full-task success from 52.5% to 80.0%. Project page: https://wangkai-casia.github.io/dim-wam.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI