日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

プランニングarXiv:2606.19729

VOiLA: 学習拡散モデルを用いたPOMDPエージェントのベクトル化オンラインプランニング

VOiLA: Vectorized Online Planning with Learned Diffusion Models for POMDP Agents

シェア:XThreadsFacebookLINEはてブBluesky

不確実性下でのプランニングのため、拡散モデルでPOMDPの遷移・観測モデルを学習し、GPU並列化に対応したオンラインプランナーに統合するフレームワークを提案。蒸留によりサンプリングコストを大幅削減し、実ロボットでも有効性を示した。

詳しい要約

1. どんなもの?

- POMDPエージェント向けのオンライン計画フレームワークVOiLAを提案。 - タスク非依存のPOMDPモデルを学習し、オンライン計画に利用。 - 条件付き拡散モデルで遷移・観測サンプラーを学習。 - 粒子ベースの信念更新のための観測尤度モデルも学習。 - 拡散サンプラーを蒸留してコンパクトなフィードフォワード生成器に変換。 - GPU並列化を活用するVOPPと統合。

2. 先行研究と比べてどこがすごい?

- 従来のPOMDP計画は正確なモデル獲得が困難で実世界適用が限られていた。 - VOiLAは学習によりタスク非依存のPOMDPモデルを獲得し、オンライン計画を可能にする。 - 蒸留によりサンプリングコストを最大約3桁削減し、学習生成モデルの実用性を向上。 - 3つのベンチマークでRecurrent Soft Actor Criticと同等以上の性能を、10%未満の訓練データで達成。 - 未見の環境構成への汎化性能が大幅に向上。 - 物理ロボット評価で10回中10回成功。

3. 技術・手法の肝は?

- 条件付き拡散モデルを用いて遷移サンプラーと観測サンプラーを学習。 - 観測尤度モデルを学習し、粒子ベースの信念更新に利用。 - 拡散サンプラーを蒸留し、コンパクトなフィードフォワード生成器に変換。 - 蒸留された生成器をVOPP(GPU並列化対応のオンラインPOMDPプランナー)と統合。 - これによりオンライン計画の効率を大幅に改善。

4. どうやって有効だと検証した?

- 3つのベンチマーク問題で評価。 - Recurrent Soft Actor Criticと比較し、同等以上の性能を10%未満の訓練データで達成。 - 未見の環境構成への汎化性能を評価。 - 物理ロボット評価を実施し、シミュレーションデータのみで学習したモデルを用いて10回中10回タスク成功。 - 蒸留戦略によりサンプリングコストが最大約3桁削減されることを実験的に確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Recurrent Soft Actor Critic(比較対象) - Vectorized Online POMDP Planner (VOPP) - 条件付き拡散モデル - 粒子フィルタ - POMDP計画

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Marcus Hoerger, Rishikesh Joshi, Rahul Shome, Ian Manchester, Hanna Kurniawati

分類: cs.RO, cs.AI

原文アブストラクト

Planning under uncertainty is an essential capability for autonomous robots. The Partially Observable Markov Decision Process (POMDP) provides a powerful framework for such a capability. Although POMDP-based planning has advanced significantly, its application to real-world problems is often limited by the difficulty of obtaining faithful POMDP models. We present Vectorized Online planning wIth Learned diffusion model for POMDP Agents (VOiLA), a framework that learns task-agnostic POMDP models for online planning under uncertainty. VOiLA learns transition and observation samplers using conditional diffusion models and learns observation-likelihood models for particle-based belief updates. To enable efficient online planning, the diffusion samplers are distilled into compact feedforward generators and integrated with Vectorized Online POMDP Planner (VOPP), an online POMDP planner designed to leverage GPU parallelization. Experimental results indicate the distillation strategy reduces sampling cost by up to nearly three orders of magnitude, making learned generative POMDP models practical for online planning. Evaluation of VOiLA on three benchmark problems indicate that VOiLA achieves equal or better performance than Recurrent Soft Actor Critic while using less than 10% training data, and generalizes much better to unseen environment configurations. Physical robot evaluation indicates VOiLA uses the models learned using only simulated data and generates a policy that successfully accomplish the task in 10 of 10 runs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI