日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習arXiv:2504.04991

ウェーブレットポリシー:世界事前記憶を用いたスケール領域での模倣学習

Wavelet Policy: Imitation Learning in the Scale Domain with World Prior Memory

シェア:XThreadsFacebookLINEはてブBluesky

背景画像から持続的なシーン構造を記憶トークンとして符号化し、ウェーブレット変換で行動をマルチスケールに分解して予測する軽量な模倣学習フレームワークを提案。実機を含む多数のタスクで高精度を達成。

詳しい要約

1. どんなもの?

- 視覚運動模倣学習の新枠組み「Wavelet Policy」 - 時間領域で直接行動を予測する従来型に対し、wavelet によるマルチスケール行動モデリングを採用 - World Prior Memory (WPM) を組み合わせた軽量な imitation learning framework - 構成要素 - 静的背景画像から持続的な物理シーン構造を memory tokens として符号化 - horizon-aligned latent action tokens を wavelet 領域で分解 - Single-Encoder Multiple-Decoder (SE2MD) で異なる時間スケールの潜在成分をモデル化 - 逆 wavelet 変換で再構成し、実行可能な action chunks に射影

2. 先行研究と比べてどこがすごい?

- 従来の時間領域での直接行動予測は物理的シーン認識と記憶が弱いと指摘 - 提案の差分 - 静的背景から persistent なシーン構造を memory として保持し encoder に注入 - 行動を wavelet 領域のマルチスケール潜在成分としてモデル化 - SE2MD により時間スケールごとの潜在成分を扱う - 主張 - 4つの simulated と6つの real-world robotic manipulation タスクで strong baselines を一貫して上回る - 有効かつ効率的な embodied manipulation の解になると主張 - 個々の baseline 名や定量差は要旨からは不明

3. 技術・手法の肝は?

- World Prior Memory (WPM) - 静的背景画像から持続的な物理シーン構造を compact な memory tokens に符号化 - world-prior tokens に融合し、forward propagation 中に encoder へ注入 - Wavelet 領域の行動モデリング - horizon-aligned latent action tokens に wavelet-domain decomposition を適用 - Single-Encoder Multiple-Decoder (SE2MD) で異なる時間スケールの潜在成分をモデル化 - 得られた latent subbands を inverse wavelet transform で再構成し action chunks に射影 - world-prior adaptation loss - 背景 encoder が persistent な scene knowledge を保持しつつ軽量・安定になるよう促す

4. どうやって有効だと検証した?

- 4つの simulated 環境と6つの real-world robotic manipulation タスクで実験 - strong baselines と比較し、Wavelet Policy が一貫して優位と報告 - 具体的なタスク名・指標・数値・ablation の詳細は要旨からは不明

5. 議論はある?

- 著者の主張 - scale-domain の行動モデリングと world-prior memory の組合せが embodied manipulation に有効かつ効率的 - 想定される論点(要旨からは不明な部分を含む) - WPM が静的背景に依存するため動的シーン変化への頑健性は要旨からは不明 - wavelet 分解のスケール選択や SE2MD の設計感度は要旨からは不明 - real-world での失敗事例や限界の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連して読むべき候補(同分野の定番・関連手法) - visuomotor imitation learning の代表的手法(例: Behavior Cloning, ACT, Diffusion Policy) - wavelet 変換を用いた時系列・行動モデリング研究 - world model / memory を組み込んだ manipulation 研究 - Single-Encoder Multiple-Decoder 構成のマルチスケール学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Changchuan Yang, Haoxuan Xu, Yuhang Dong, Guanzhong Tian, Haizhou Ge, Hongrui Zhu

分類: cs.RO

原文アブストラクト

Conventional visuomotor imitation learning usually predicts future robot actions directly in the time domain. Such formulations often have limited physical scene awareness and weak memory. In this work, we propose Wavelet Policy, a lightweight imitation learning framework that combines World Prior Memory (WPM) with wavelet-based multi-scale action modeling. Our key idea is to encode persistent physical scene structure from static background images into compact memory tokens, which are fused into world-prior tokens and injected into the encoder during forward propagation. Based on this memory-conditioned representation, we further perform wavelet-domain decomposition over horizon-aligned latent action tokens and adopt a Single-Encoder Multiple-Decoder (SE2MD) architecture to model latent components at different temporal scales. The resulting latent subbands are reconstructed through inverse wavelet transform and finally projected into executable action chunks. To facilitate efficient world prior learning, we introduce a world-prior adaptation loss, encouraging the background encoder to retain persistent scene knowledge while remaining lightweight and stable. Extensive experiments on four simulated and six real-world robotic manipulation tasks show that Wavelet Policy consistently outperforms strong baselines. These results demonstrate that combining scale-domain action modeling with world-prior memory provides an effective and efficient solution for embodied manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI