日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

モデルベース強化学習arXiv:2505.15754

時間拡張行動による計画とモデルベース強化学習の改善

Improving planning and MBRL with temporally-extended actions

シェア:XThreadsFacebookLINEはてブBluesky

行動の持続時間を計画の最適化変数として扱うことで、計画の高速化とモデルベース強化学習の性能向上を実現した研究。

詳しい要約

1. どんなもの?

- 連続時間系を離散時間 dynamics で扱う際に必要となる小さい simulation step と長い planning horizon の問題を、temporally-extended actions で緩和する研究。 - planner が action の duration を追加の最適化変数として扱い、連続的な decision timescale を直接制御する。 - planning と model-based reinforcement learning (MBRL) の両方で評価している。

2. 先行研究と比べてどこがすごい?

- 先行の model-free reinforcement learning では action repeats を用い、policy が離散的な action duration を学習する形で部分的に対処していた。 - 本研究はそれとは異なり、planner 側で action duration を標準の action 変数と並ぶ最適化変数として直接扱う。 - これにより primitive actions 換算で深い horizon 探索を、planner の浅い探索深さで実現できる点が特徴。

3. 技術・手法の肝は?

- temporally-extended actions を導入し、action duration を planner の追加最適化変数とする。 - この構造により trajectory の simulation time を短縮し、planner の探索を浅く保ちつつ実質的な horizon を広げる。 - MBRL では model learning の compounding errors を減らし、model の training time を改善する。 - action duration の範囲は multi-armed bandit の定式化により自動選択し、MBRL framework に統合する。

4. どうやって有効だと検証した?

- planning と MBRL の両方で extensive experimental evaluation を実施。 - 結果として、より速い planning、より良い solution、および標準の定式化では解けない問題の解決が示されたと報告。 - 個々の benchmark 名や比較手法の詳細は要旨からは不明。

5. 議論はある?

- action duration を最適化変数に加えることで planning と MBRL の両方に利点があると主張。 - duration 範囲の自動選択を multi-armed bandit で行う点が実用上の論点。 - 具体的な限界や失敗ケース、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で直接参照されている先行研究: action repeats を用いた model-free reinforcement learning の研究。 - 関連手法: model-based reinforcement learning (MBRL)、multi-armed bandit、temporally-extended actions。 - 個別論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Palash Chatterjee, Roni Khardon

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Continuous time systems are often modeled using discrete time dynamics but this requires a small simulation step to maintain accuracy. In turn, this requires a large planning horizon which leads to computationally demanding planning problems and reduced performance. Previous work in model-free reinforcement learning has partially addressed this issue using action repeats where a policy is learned to determine a discrete action duration. Instead we propose to control the continuous decision timescale directly by using temporally-extended actions and letting the planner treat the duration of the action as an additional optimization variable along with the standard action variables. This additional structure has multiple advantages. It speeds up simulation time of trajectories and, importantly, it allows for deep horizon search in terms of primitive actions while using a shallow search depth in the planner. In addition, in the model-based reinforcement learning (MBRL) setting, it reduces compounding errors from model learning and improves training time for models. We show that this idea is effective and that the range for action durations can be automatically selected using a multi-armed bandit formulation and integrated into the MBRL framework. An extensive experimental evaluation both in planning and in MBRL, shows that our approach yields faster planning, better solutions, and that it enables solutions to problems that are not solved in the standard formulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI