日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
オフライン強化学習arXiv:2611.13013

FaST: オフライン強化学習のための遷移の因子分解合成

FaST: Factored Synthesis of Transitions for Offline Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

遷移を状態・行動・ダイナミクス・報酬・終端に因子分解して個別に生成する手法を提案し、拡散モデルベースの合成より90倍以上高速で同等性能を達成、さらに価値関数に基づく行動選択で実データ学習を上回る結果を示した。

詳しい要約

1. どんなもの？

- オフライン強化学習（offline RL）向けの合成データ拡張手法 FaST（Factored Synthesis of Transitions）の提案。 - transition tuple（state, action, next state, reward, terminal）を単一の塊として生成するのではなく、chain rule で各因子に分解して生成する。 - 各因子をその統計的性質に合わせた estimator で個別に fit する点が特徴。

2. 先行研究と比べてどこがすごい？

- 先行の diffusion ベース生成器 SynthER は transition tuple を monolith として扱い、単一因子を単独で再生成できない。 - FaST は因子分解により、action-given-state 条件を固定 state に対して再クエリ可能にし、targeted action synthesis を実現。 - 12 の D4RL locomotion/maze ベンチマークで、TD3+BC と IQL エージェントが SynthER と同等性能を保ちつつ、生成が 90x 以上高速。

3. 技術・手法の肝は？

- chain rule により transition を state, action, dynamics, reward, terminal の各ステージに分解。 - 各ステージを統計的性質に合った estimator で個別にモデル化。 - 固定 state に対し action-given-state 条件を再クエリし、N 個の候補 action を生成。 - 同一データで fit した value function の下で最高 advantage の action を選択し、生成時に改善された挙動を合成（post-hoc filtering ではない）。

4. どうやって有効だと検証した？

- 12 の D4RL locomotion および maze ベンチマークで評価。 - TD3+BC と IQL エージェントを FaST 生成 transition で訓練し、SynthER diffusion baseline と比較。 - Best-of-10 synthesis が 12 中 11 の medium/medium-replay 設定で実データ訓練を上回る（平均 +8.9 D4RL points、最大 +28.4）。 - advantage-filtered SynthER と競合しつつ生成コストは大幅に小さい。

5. 議論はある？

- expert mixtures では両メカニズムが同一に性能劣化。 - 失敗の原因は targeting メカニズムではなく advantage estimate 自体にあると分析。 - 要旨からは不明：他のデータ分布やタスク種別での挙動、estimator 選択の感度などは議論されていない。

6. 次に読むべき論文は？

- SynthER（diffusion ベースの transition 生成 baseline） - TD3+BC（オフライン RL エージェント） - IQL（オフライン RL エージェント） - D4RL（ベンチマークデータセット） - advantage filtering を用いる関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daniel Campa, Spandan Das, Srinjoy Das

分類: cs.LG

原文アブストラクト

Synthetic data augmentation promises to scale offline reinforcement learning beyond fixed logged datasets, but leading diffusion-based generators model the transition tuple (state, action, next state, reward, terminal) as a monolith: no single factor can be natively redrawn in isolation. We present FaST (Factored Synthesis of Transitions), which factors transitions via the chain rule into state, action, dynamics, reward, and terminal stages, fitting each with an estimator matched to its statistical properties. Across twelve D4RL locomotion and maze benchmarks, TD3+BC and IQL agents trained on FaST transitions match the SynthER diffusion baseline while generating transitions over 90x faster. The explicit action-given-state conditional can also be re-queried for a fixed state, enabling targeted action synthesis: drawing N candidate actions per generated state and keeping the highest-advantage one under a value function fit to the same data, thereby synthesizing improved behavior during generation rather than filtering for it post-hoc. Best-of-10 synthesis beats training on real data on 11 of 12 medium and medium-replay settings (+8.9 D4RL points on average, up to +28.4), and is competitive with advantage-filtered SynthER at a fraction of its generation cost. On expert mixtures both mechanisms degrade identically, tracing the failure to the advantage estimate itself rather than to either targeting mechanism.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →