日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2606.23280

因果報酬ワールドモデル:自動スキル生成のためのゼロショット報酬設計

Causal Reward World Models: Zero-shot Reward Design for Automated Skill Generation

シェア:XThreadsFacebookLINEはてブBluesky

因果関係を明示的にモデル化した報酬ワールドモデルを提案し、LLMによる報酬生成を因果的制約で導くことで、環境フィードバックなしのゼロショット報酬設計を実現した。

詳しい要約

1. どんなもの?

- 強化学習の報酬設計を自動化するAutomated Reward Design (ARD) の新しい枠組み。 - 大規模言語モデル (LLM) による報酬生成を、因果推論に基づくCausal Reward World Model (CRWM) で制約する。 - オフラインのマルチタスク相互作用データで事前学習し、タスク非依存の因果事前分布を構築。 - 推論時はLLMがCRWMを因果事前として利用し、ゼロショットで報酬関数を設計する。 - 複雑な連続制御ベンチマークで、フィードバックなしに実行可能な報酬を生成し、新規ロボットスキル獲得の設計遅延を大幅に削減する。

2. 先行研究と比べてどこがすごい?

- 既存のLLMベースARDは相関駆動で、タスクごとに環境フィードバックを反復して報酬仮説を洗練する必要があった。 - そのため推論が非効率で、意味的に妥当でも因果的に偽の報酬成分に陥りやすかった。 - CRWMは因果トポロジーを明示的にモデル化し、タスク非依存の因果事前を与えることで、フィードバック駆動の報酬洗練を不要にする。 - ゼロショットで報酬関数を生成し、設計遅延を削減しつつ、最先端性能に匹敵または上回る。 - 未見タスクや多様なロボット身体性への汎化も示す。

3. 技術・手法の肝は?

- マルチタスク相互作用データでオフライン事前学習し、候補報酬成分とタスク目標の物理変数間の因果トポロジーをモデル化。 - 粗から細への事前学習戦略を採用。 - 明示的メカニズム分離 (Explicit Mechanism Decoupling) と信頼度認識ソフト融合 (Confidence-Aware Soft Fusion) を統合した共同最適化モジュールを導入。 - ミクロ軌道を用いて粗い構造事前を洗練し、堅牢で解釈可能な因果骨格を構築。 - 推論時、LLMはCRWMをタスク非依存の因果事前として報酬生成を制約し、ゼロショット設計を実現。

4. どうやって有効だと検証した?

- 複雑な連続制御ベンチマークで広範な実験を実施。 - フィードバック駆動の報酬洗練なしに実行可能な報酬関数を生成できることを示す。 - 新規ロボットスキル獲得の設計遅延を大幅に削減しつつ、最先端性能に匹敵または上回ることを確認。 - 未見タスクや多様なロボット身体性への強い汎化能力も検証。

5. 議論はある?

- 要旨からは不明。 - 因果骨格の解釈性やゼロショット設計の限界、失敗事例、計算コストなどについての議論は要旨に記載がない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 既存のLLMベースARD (具体的名称は要旨に無い)。 - 関連手法: Automated Reward Design (ARD)、Causal Reward World Model (CRWM)、Explicit Mechanism Decoupling、Confidence-Aware Soft Fusion。 - 同分野の定番: 強化学習の報酬設計、LLMによる報酬生成、因果推論を用いたロボティクス。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yang Yang, Yuchuang Tong, Zhengtao Zhang, Xu Ding, Ning Yang, Yifan Zhang, Haipeng Li, Kehu Yang, Miao Xin

分類: cs.RO

原文アブストラクト

Automated Reward Design (ARD) aims to replace manual reward engineering in reinforcement learning with language-driven reward function synthesis. However, existing approaches based on large language models (LLMs) remain inherently correlation-driven, relying on iterative environmental feedback to refine reward hypotheses for each specific task. This paradigm not only results in inefficient reasoning but also makes LLMs susceptible to semantically plausible yet causally spurious reward components, leading to ineffective optimization. To address these limitations, we propose the Causal Reward World Model (CRWM), which explicitly models the causal topological relationships between candidate reward components and task-targeted physical variables through offline pre-training on multi-task interaction data. Based on a coarse-to-fine pre-training strategy, we introduce a joint optimization module that integrates Explicit Mechanism Decoupling with Confidence-Aware Soft Fusion to refine coarse structural priors using micro-level trajectories, thereby constructing a robust and interpretable causal skeleton. During inference, LLMs leverage CRWM as a task-irrelevant causal prior to constrain the reward generation, enabling zero-shot reward function design. Our work opens up a new white-box paradigm for the ARD problem. Extensive experiments on complex continuous control benchmarks demonstrate that CRWM generates executable reward functions without feedback-driven reward refinement, significantly reducing the design latency for acquiring new robotic skills while matching or surpassing state-of-the-art performance, and further exhibits strong generalization capabilities across unseen tasks and diverse robotic embodiments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI