日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.03018

方策最適化を超えて:疎報酬長期的計画のためのデータキュレーションフライホイール

Beyond Policy Optimization: A Data Curation Flywheel for Sparse-Reward Long-Horizon Planning

シェア:XThreadsFacebookLINEはてブBluesky

疎報酬の長期的エージェント計画に対し、ブートストラップ・外挿・洗練の3段階で自己改善するデータフライホイールを構築し、トークン効率よく最先端性能を達成した研究。

詳しい要約

1. どんなもの?

- 対象: 対話型環境での multi-round agentic planning における LLM 推論モデル - 課題: (1) sparse-reward 下で credit assignment が困難で従来 RL が機能しにくい、(2) 冗長な step-by-step 推論履歴の計算コストが大きい - 提案: BPO と呼ぶ 3 段階フレームワーク (bootstrapping, extrapolation, refinement) - 狙い: 自己改善する data flywheel により long-horizon・sparse-reward 環境向けの頑健な推論モデルを育成 - 評価: ALFWorld, ScienceWorld, WebShop で検証

2. 先行研究と比べてどこがすごい?

- 従来 RL は sparse-reward 下の credit assignment が困難で効果が限定的 - 既存の推論モデルは step-by-step 履歴が冗長で計算オーバーヘッドが大きい - BPO は data flywheel による自己改善でこれらを緩和 - 実験では ALFWorld, ScienceWorld, WebShop で state-of-the-art かつ有意な token efficiency を報告 - 具体的な比較対象・改善幅は要旨からは不明

3. 技術・手法の肝は?

- 3 段階構成: bootstrapping → extrapolation → refinement - bootstrapping: 提案の planning quaternions と long-short chain-of-thought fusion で効率的推論を立ち上げ - extrapolation: complexity-stratified curriculum learning で out-of-distribution タスクへ外挿 - refinement: reward-gated rejection sampling で選別した経験のみを学習し反復自己改善 - 全体として自己改善する data flywheel を形成

4. どうやって有効だと検証した?

- ALFWorld, ScienceWorld, WebShop の 3 環境で実験 - 結果として state-of-the-art を達成し、token efficiency も有意に改善と報告 - 各段階の ablation・詳細な指標・統計は要旨からは不明

5. 議論はある?

- 著者は sparse-reward long-horizon planning における新レシピとして位置づけ - token efficiency と性能の両立を主張 - 限界・失敗事例・計算コストの詳細・一般化範囲は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として reinforcement learning, chain-of-thought, curriculum learning, rejection sampling の各文献 - ベンチマーク関連として ALFWorld, ScienceWorld, WebShop の原論文 - 同分野の定番として ReAct や Reflexion などの agentic planning 手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yutong Wang, Pengliang Ji, Kaixin Li, Baolong Bi, Tao Feng, Guillaume Sartoretti

分類: cs.AI, cs.RO

原文アブストラクト

Large Language Reasoning Models have demonstrated remarkable success on static tasks, yet their application to multi-round agentic planning in interactive environments faces two fundamental challenges. First, the intractable credit assignment problem renders conventional reinforcement learning ineffective in sparse-reward settings. Second, the computational overhead of verbose, step-by-step reasoning histories is prohibitive. To address these challenges, we propose BPO, a three-stage framework (bootstrapping, extrapolation, and refinement) that establishes a self-improving data flywheel to develop robust reasoning models for long-horizon, sparse-reward environments. Our framework first bootstraps efficient reasoning using the proposed planning quaternions with long-short chain-of-thought fusion. It then extrapolates to out-of-distribution tasks through complexity-stratified curriculum learning. Finally, the model iteratively refines itself by learning exclusively on experiences selected via reward-gated rejection sampling. Experiments on ALFWorld, ScienceWorld, and WebShop demonstrate that our approach achieves state-of-the-art with significant token efficiency, providing a new recipe for reasoning models in agentic planning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI