日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2507.10174

Decision Transformerはオフライン強化学習で本当に好ましいのか?

Should We Ever Prefer Decision Transformer for Offline Reinforcement Learning?

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作と歩行のベンチマークで、低性能軌道を除去して模倣学習するFBCがDecision Transformerと同等以上の性能を達成し、DTの優位性に疑問を投げかけた。

詳しい要約

1. どんなもの?

- 本論文は、オフライン強化学習(offline RL)における Decision Transformer (DT) の有効性を再検討する研究である。 - 特に、スパース報酬環境での DT の性能を、MLP ベースの Filtered Behavior Cloning (FBC) と比較している。 - 実験はロボットマニピュレーションタスク(Robomimic)と移動ベンチマーク(D4RL)で行われた。 - その結果、FBC が DT と同等以上の性能を示し、DT の優位性に疑問を投げかけている。

2. 先行研究と比べてどこがすごい?

- 先行研究(Bhargava et al., 2024)は、DT がスパース報酬かつ低品質データ設定で MLP ベースの BC や CQL より優れると主張していた。 - 本論文は、FBC を用いることで、スパース報酬環境でも DT に匹敵または上回る性能が得られることを示した。 - FBC は単純な手法でありながら、DT よりも少ない訓練データで済み、計算効率も良い点が異なる。 - これにより、DT がスパース報酬環境で好まれる理由がないことを主張している。

3. 技術・手法の肝は?

- 提案手法は Filtered Behavior Cloning (FBC) であり、データセットから低性能な軌道をフィルタリングし、残ったデータで通常の Behavior Cloning (BC) を行う。 - FBC は非常にシンプルで、追加の複雑なモデルや学習アルゴリズムを必要としない。 - DT はリターン条件付きポリシー学習をシーケンスモデリングとして定式化するが、FBC はそのような複雑さを持たない。 - フィルタリングの基準や具体的な実装の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- Robomimic のロボットマニピュレーションタスクと D4RL の移動ベンチマークを用いて実験を行った。 - スパース報酬環境において、FBC が DT と同等または優れた性能を示すことを確認した。 - また、FBC は DT よりも少ない訓練データで済み、計算効率が良いことも示された。 - 具体的な評価指標や統計的有意性については要旨からは不明。

5. 議論はある?

- 本論文は、DT がスパース報酬環境で好ましくないことを示唆している。 - さらに、先行研究から DT は密報酬環境でも好ましくないと論じられており、DT が好ましい状況は存在するのかという問いを提起している。 - FBC の単純さと効率性が強調され、DT の複雑さに対する批判となっている。 - ただし、DT の利点や適用可能なシナリオについての詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- Bhargava et al. (2024) は DT と MLP ベースのオフライン RL アルゴリズム(BC, CQL)を比較した研究であり、本論文の直接の先行研究である。 - 関連手法として Behavior Cloning (BC) や Conservative Q-Learning (CQL) が挙げられる。 - また、Decision Transformer (DT) の原論文や、オフライン RL のベンチマークである D4RL や Robomimic に関する論文も参考になる。 - 同分野の定番として、Offline RL のサーベイ論文や、Transformer を用いた強化学習の研究(例:Trajectory Transformer)も読むべきである。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yumi Omori, Zixuan Dong, Keith Ross

分類: cs.AI, cs.LG

原文アブストラクト

In recent years, extensive work has explored the application of the Transformer architecture to reinforcement learning problems. Among these, Decision Transformer (DT) has gained particular attention in the context of offline reinforcement learning due to its ability to frame return-conditioned policy learning as a sequence modeling task. Most recently, Bhargava et al. (2024) provided a systematic comparison of DT with more conventional MLP-based offline RL algorithms, including Behavior Cloning (BC) and Conservative Q-Learning (CQL), and claimed that DT exhibits superior performance in sparse-reward and low-quality data settings. In this paper, through experimentation on robotic manipulation tasks (Robomimic) and locomotion benchmarks (D4RL), we show that MLP-based Filtered Behavior Cloning (FBC) achieves competitive or superior performance compared to DT in sparse-reward environments. FBC simply filters out low-performing trajectories from the dataset and then performs ordinary behavior cloning on the filtered dataset. FBC is not only very straightforward, but it also requires less training data and is computationally more efficient. The results therefore suggest that DT is not preferable for sparse-reward environments. From prior work, arguably, DT is also not preferable for dense-reward environments. Thus, we pose the question: Is DT ever preferable?

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI