日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

オフライン強化学習arXiv:2601.22823

ロバストなスタイル整合下での高品質行動のオフライン強化学習

Offline Reinforcement Learning of High-Quality Behaviors Under Robust Style Alignment

シェア:XThreadsFacebookLINEはてブBluesky

サブ軌跡ラベルによるスタイル監督を用いたオフライン強化学習において、スタイルとタスク性能の両立を図るSCIQLを提案し、従来手法より優れた性能を示した。

詳しい要約

1. どんなもの?

- オフライン強化学習において、スタイル条件付きポリシーを学習する研究。 - サブトラジェクトリのラベリング関数による明示的なスタイル監督を用いる。 - スタイルとタスク性能の両立が課題。 - 既存手法はスタイル定義が多様で、目的間の衝突を解決できないことが多い。 - 行動スタイルの統一的な定義を提案し、Style-Conditioned Implicit Q-Learning (SCIQL) を導入。 - オフライン目標条件付きRL技術と新しいGated Advantage Weighted Regressionを組み合わせる。

2. 先行研究と比べてどこがすごい?

- 既存のオフラインRL手法と比較して、スタイルとタスク性能の両方で優れた性能を達成。 - 従来はスタイル定義が乱立し、スタイルと報酬の衝突を効果的に解決できなかった。 - 統一的なスタイル定義とSCIQLにより、分布シフト下でもスタイル整合性を保ちつつ高性能を実現。 - 具体的な比較対象は要旨からは不明。

3. 技術・手法の肝は?

- 行動スタイルの統一的な定義を提案し、実用的なフレームワークに具体化。 - Style-Conditioned Implicit Q-Learning (SCIQL) を提案。 - オフライン目標条件付きRL技術(hindsight relabeling、value learning)を活用。 - 新しいGated Advantage Weighted Regressionメカニズムを組み合わせ、タスク性能を最適化しつつスタイル整合性を維持。

4. どうやって有効だと検証した?

- 実験により、SCIQLがスタイルとタスク性能の両目的で既存のオフライン手法より優れた性能を示すことを検証。 - 具体的な実験設定やベンチマークは要旨からは不明。 - コード、データセット、視覚資料が公開されている。

5. 議論はある?

- スタイルと報酬の本質的な衝突や分布シフトへの対処が議論の焦点。 - 統一的なスタイル定義の有効性や、SCIQLの汎用性についての議論は要旨からは不明。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Offline Reinforcement Learning、Goal-Conditioned RL、Implicit Q-Learning (IQL)、Advantage Weighted Regression (AWR) などが挙げられる。 - 同分野の定番として、Conservative Q-Learning (CQL)、Behavior Cloning (BC)、Decision Transformer などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mathieu Petitbois, Rémy Portelas, Sylvain Lamprier

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

We study offline reinforcement learning of style-conditioned policies using explicit style supervision via subtrajectory labeling functions. In this setting, aligning style with high task performance is particularly challenging due to distribution shift and inherent conflicts between style and reward. Existing methods, despite introducing numerous definitions of style, often fail to reconcile these objectives effectively. To address these challenges, we propose a unified definition of behavior style and instantiate it into a practical framework. Building on this, we introduce Style-Conditioned Implicit Q-Learning (SCIQL), which leverages offline goal-conditioned RL techniques, such as hindsight relabeling and value learning, and combine it with a new Gated Advantage Weighted Regression mechanism to efficiently optimize task performance while preserving style alignment. Experiments demonstrate that SCIQL achieves superior performance on both objectives compared to prior offline methods. Code, datasets and visuals are available in: https://mathieu-petitbois.github.io/projects/sciql/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI