日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2602.02847

因果フローQ学習:頑健なオフライン強化学習

Causal Flow Q-Learning for Robust Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

オフラインデータに潜む未測定の交絡バイアスに対処するため、因果的視点から最悪ケース性能を最適化する新たな目的関数を提案し、フローマッチング方策と組み合わせて頑健なオフライン強化学習を実現した。

詳しい要約

1. どんなもの?

- オフライン強化学習(offline RL)における未測定交絡(unmeasured confounding)問題に対処する研究。 - 特にピクセルベースのデモンストレーションで、実演者と学習者の知覚能力の不一致により暗黙の交絡バイアスが生じる状況を扱う。 - 因果的視点から交絡観測(confounded observations)の問題を調査し、最悪ケース性能を最適化する新しい因果的オフラインRL目的関数を開発。 - この目的関数に基づき、flow-matchingポリシーを学習する実用的実装を提案。 - 25のピクセルベースタスクで、交絡を考慮しない最先端オフラインRL手法の120%の成功率を達成。

2. 先行研究と比べてどこがすごい?

- 従来のflow-matchingベースの表現力豊かなポリシーは標準的なポリシー勾配に基づき、データに未測定交絡がないと仮定。 - しかしピクセルベースのデモンストレーションでは、実演者と学習者の知覚能力の不一致によりこの仮定が成立しない場合がある。 - 本研究はこの暗黙の交絡バイアスに対処する初の因果的オフラインRL目的関数を提案。 - 交絡を考慮しない最先端手法と比較して、25のピクセルベースタスクで成功率120%を達成。

3. 技術・手法の肝は?

- 因果的視点から交絡観測下でのオフラインRL問題を定式化。 - 交絡バイアスにより生じうるポリシーの最悪ケース性能を最適化する新しい因果的オフラインRL目的関数を開発。 - この目的関数に基づき、flow-matchingポリシーを学習する実用的実装を提案。 - 深層識別器(deep discriminator)を用いて、ターゲットポリシーと名目上の行動ポリシー(nominal behavioral policy)との差異を評価。 - 交絡に頑健な拡張手続き(confounding-robust augmentation procedure)を導入。

4. どうやって有効だと検証した?

- 25のピクセルベースタスクで実験を実施。 - 提案する交絡頑健拡張手続きが、交絡を考慮しない最先端オフラインRL手法と比較して成功率120%を達成。 - 具体的なタスク名やベースライン手法名は要旨からは不明。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - 交絡バイアスが存在するオフラインデータにおけるポリシー学習の難しさと、因果的アプローチの有効性が示唆される。 - 今後の課題や理論的保証については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:flow-matchingベースの強化学習、標準的なポリシー勾配法、交絡を考慮しない最先端オフラインRL手法。 - 関連手法:因果推論を用いたオフラインRL、交絡に頑健な強化学習、ピクセルベースのオフラインRL。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingxuan Li, Junzhe Zhang, Elias Bareinboim

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Expressive policies based on flow-matching have been successfully applied in reinforcement learning (RL) more recently due to their ability to model complex action distributions from offline data. These algorithms build on standard policy gradients, which assume that there is no unmeasured confounding in the data. However, this condition does not necessarily hold for pixel-based demonstrations when a mismatch exists between the demonstrator's and the learner's sensory capabilities, leading to implicit confounding biases in offline data. We address the challenge by investigating the problem of confounded observations in offline RL from a causal perspective. We develop a novel causal offline RL objective that optimizes policies' worst-case performance that may arise due to confounding biases. Based on this new objective, we introduce a practical implementation that learns expressive flow-matching policies from confounded demonstrations, employing a deep discriminator to assess the discrepancy between the target policy and the nominal behavioral policy. Experiments across 25 pixel-based tasks demonstrate that our proposed confounding-robust augmentation procedure achieves a success rate 120\% that of confounding-unaware, state-of-the-art offline RL methods.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI