日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2605.00159

E²DT:経験認識サンプリングによる効率的かつ効果的なロボット操作のためのディシジョン・トランスフォーマー

E$^2$DT: Efficient and Effective Decision Transformer with Experience-Aware Sampling for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作の強化学習において、ディシジョン・トランスフォーマーの性能を向上させるため、経験の質と多様性を考慮したサンプリング手法を提案した論文。

詳しい要約

1. どんなもの?

- ロボティックマニピュレーションのための強化学習(RL)において、Decision Transformer(DT)を基盤とした新しいフレームワーク E$^2$DT を提案。 - DT の性能は収集された経験のカバレッジに大きく依存し、一様なリプレイではサンプル効率や探索が不十分になる問題に対処。 - E$^2$DT は DT 誘導の k-Determinantal Point Process サンプリングを採用し、経験選択を能動的に形成する。 - 効率性(高リターン、高不確実性、過小表現の軌道を優先)と有効性(軌道ウィンドウ間の多様性を確保)を両立。 - シミュレーションと実ロボットの両設定で評価し、従来手法を一貫して上回る性能を示す。

2. 先行研究と比べてどこがすごい?

- 従来の DT は一様なリプレイに依存し、能動的探索機構がないため、サンプル効率が悪く探索が限定的で、全体的な有効性が低い。 - 過度な探索は局所最適を避けるのに役立つが、ポリシー収束を遅らせ効率を低下させる。 - E$^2$DT は経験認識型サンプリングにより、効率と有効性のバランスを実現し、これらの制限を克服。 - 具体的には、高リターン・高不確実性・過小表現の軌道を優先しつつ、軌道ウィンドウ間の多様性を確保することで、従来手法より優れた性能を達成。

3. 技術・手法の肝は?

- DT の内部潜在埋め込みを用いて軌道ウィンドウ間の多様性を測定。 - 品質は return-to-go(RTG)分位点、予測不確実性、逆頻度に基づくステージカバレッジを統合した複合指標で定量化。 - これら二つの次元を新規の品質-多様性ジョイントカーネルに統合し、最も情報量の多い経験を優先。 - サンプリングには k-Determinantal Point Process を採用し、DT 誘導で経験選択を能動的に形成。 - これにより、効率的かつ効果的な学習を可能にする。

4. どうやって有効だと検証した?

- 挑戦的なロボティックマニピュレーションベンチマークで評価。 - シミュレーションと実ロボットの両設定で実験を実施。 - 結果、E$^2$DT は従来手法を一貫して上回る性能を示した。 - これにより、ポリシー学習と経験認識型サンプリングの結合が、堅牢な長期的ロボティック学習への原理的アプローチであることを実証。

5. 議論はある?

- 要旨からは、具体的な議論や限界についての言及は不明。 - ただし、E$^2$DT が効率と有効性のバランスを実現し、従来手法を上回ることを示している。 - 長期的なロボティック学習への原理的経路を提供するという主張がなされている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Decision Transformer(DT)、k-Determinantal Point Process。 - 関連手法:強化学習(RL)における経験リプレイ、能動的探索、サンプル効率改善手法。 - 同分野の定番:Robotic Manipulation ベンチマーク(シミュレーションと実ロボット)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaiyan Zhao, Borong Zhang, Yiming Wang, Xingyu Liu, Xuetao Li, Yuyang Chen, Xiaoguang Niu

分類: cs.RO

原文アブストラクト

In reinforcement learning (RL) for robotic manipulation, the Decision Transformer (DT) has emerged as an effective framework for addressing long-horizon tasks. However, DT's performance depends heavily on the coverage of collected experiences. Without an active exploration mechanism, standard DT relies on uniform replay, which leads to poor sample efficiency, limited exploration, and reduced overall effectiveness. At the same time, while excessive exploration can help avoid local optima, it often delays policy convergence and leads to degraded efficiency. To address these limitations, we propose E$^2$DT, a DT-guided k-Determinantal Point Process sampling framework that enables the model to actively shape its own experience selection. Our framework is experience-aware, allowing E$^2$DT to be both efficient, by prioritizing sampling quality, such as high-return, high-uncertainty, and underrepresented trajectories, and effective, by ensuring diversity across trajectory windows to preserve policy optimality. Specifically, DT's internal latent embeddings measure diversity across trajectory windows, while quality is quantified through a composite metric that integrates return-to-go (RTG) quantiles, predictive uncertainty, and stage coverage based on inverse frequency. These two dimensions are integrated into a novel quality-diversity joint kernel that prioritizes the most informative experiences, thereby enabling learning that is both efficient and effective. We evaluate E$^2$DT on challenging robotic manipulation benchmarks in both simulation and real-robot settings. Results show that it consistently outperforms prior methods. These findings demonstrate that coupling policy learning with experience-aware sampling provides a principled path toward robust long-horizon robotic learning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI