日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

逆強化学習arXiv:2507.08707

SPLASH! 劣悪な階層的デモンストレーションからの長期的敵対的タスクに対するサンプル効率の良い選好ベース逆強化学習

SPLASH! Sample-efficient Preference-based inverse reinforcement learning for Long-horizon Adversarial tasks from Suboptimal Hierarchical demonstrations

シェア:XThreadsFacebookLINEはてブBluesky

劣悪なデモンストレーションから長期的・敵対的タスクを学習する逆強化学習手法SPLASHを提案し、シミュレーションと実世界の無人水上艇で有効性を示した。

詳しい要約

1. どんなもの?

- どんなもの? - 劣悪(suboptimal)な階層的デモンストレーションから、長期的(long-horizon)かつ敵対的(adversarial)なタスクの報酬を学習する IRL 手法 SPLASH の提案。 - 正式名は Sample-efficient Preference-based inverse reinforcement learning for Long-horizon Adversarial tasks from Suboptimal Hierarchical demonstrations。 - 専門家デモを前提とせず、サンプル効率の良い preference-based IRL を目指す。 - 海上 capture-the-flag タスクのシミュレーションと、自律無人水上艇(autonomous unmanned surface vehicles)への sim-to-real 実験で検証。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 多くの IRL は expert demonstrations を仮定するが、本手法は suboptimal demonstrations を扱う点で異なる。 - suboptimality を許容する既存手法は long-horizon goals や adversarial tasks 向けに設計されていないと指摘。 - SPLASH は suboptimal demonstrations からの学習を long-horizon かつ adversarial な設定へ拡張し、state-of-the-art を更新すると主張。 - 報酬学習において既存の state-of-the-art を大きく上回る性能を示すと報告。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - Preference-based inverse reinforcement learning を基盤とする。 - Suboptimal Hierarchical demonstrations を入力として活用する枠組み。 - Sample-efficient な設計により、限られたサンプルで報酬学習を進める。 - Long-horizon Adversarial tasks に対応するための構成を備える。 - 具体的なアルゴリズム詳細や階層構造の処理方法は要旨からは不明。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - シミュレーション上の maritime capture-the-flag タスクで SPLASH を実証的に検証。 - autonomous unmanned surface vehicles を用いた sim-to-real translation 実験で実世界適用性を確認。 - suboptimal demonstrations からの reward learning において、SPLASH が state-of-the-art を有意に上回ることを示した。 - 定量的な評価指標やベースラインの詳細は要旨からは不明。

5. 議論はある?

- 議論はある? - 既存 IRL が expert demonstrations を仮定する点、suboptimality 許容手法が long-horizon/adversarial に不向きな点を課題として提示。 - SPLASH がそれら課題を克服し、field-ready robotic agents の実現に寄与する可能性を示唆。 - 限界や失敗事例、計算コスト、安全性に関する議論は要旨からは不明。 - sim-to-real のギャップに関する詳細な考察は要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - Preference-based inverse reinforcement learning の代表的研究(要旨で個別参照なし)。 - Suboptimal demonstrations からの reward learning に関する state-of-the-art 手法(要旨で個別名なし)。 - Long-horizon タスク向け IRL / hierarchical imitation learning の関連研究(要旨で個別名なし)。 - Adversarial robotics タスクへの IRL 適用研究(要旨で個別名なし)。 - Sim-to-real を用いた autonomous unmanned surface vehicles の強化学習/IRL 研究(要旨で個別名なし)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peter Crowley, Zachary Serlin, Tyler Paine, Makai Mann, Michael Benjamin, Calin Belta

分類: cs.LG, cs.RO

原文アブストラクト

Inverse Reinforcement Learning (IRL) presents a powerful paradigm for learning complex robotic tasks from human demonstrations. However, most approaches make the assumption that expert demonstrations are available, which is often not the case. Those that allow for suboptimality in the demonstrations are not designed for long-horizon goals or adversarial tasks. Many desirable robot capabilities fall into one or both of these categories, thus highlighting a critical shortcoming in the ability of IRL to produce field-ready robotic agents. We introduce Sample-efficient Preference-based inverse reinforcement learning for Long-horizon Adversarial tasks from Suboptimal Hierarchical demonstrations (SPLASH), which advances the state-of-the-art in learning from suboptimal demonstrations to long-horizon and adversarial settings. We empirically validate SPLASH on a maritime capture-the-flag task in simulation, and demonstrate real-world applicability with sim-to-real translation experiments on autonomous unmanned surface vehicles. We show that our proposed methods allow SPLASH to significantly outperform the state-of-the-art in reward learning from suboptimal demonstrations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI