日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェント推論arXiv:2605.22138

自己制御型シミュレーション計画による効率的なエージェント推論

Efficient Agentic Reasoning Through Self-Regulated Simulative Planning

シェア:XThreadsFacebookLINEはてブBluesky

エージェントの推論を、シミュレーション推論・自己制御・反応実行の3システムに分解し、必要な時だけ計画を呼び出す自己制御機構を導入したLLMエージェントSR^2^AMを提案。大規模モデルに匹敵する性能を少ないトークンで達成した。

詳しい要約

1. どんなもの?

- エージェントがいつ・どのように計画を立てるかを自己調整する枠組みを提案。 - 意思決定を3システムに分解:System II(simulative reasoning)がworld modelで将来状態を予測、System III(self-regulation)が学習済みconfiguratorで計画の要否と深さを決定、System I(reactive execution)が細粒度行動を担当。 - LLMをworld modelとしてchain-of-thought内に実装したSR$^2$AMを開発。 - v0.1はprompted multi-module systemから決定を記録、v1.0はpretrained reasoning LLMのtraceから構造化計画を再構成し、supervised learningとRLで訓練。 - 数学・科学・表形式分析・web情報探索で評価。

2. 先行研究と比べてどこがすごい?

- 従来のreactive policy+adaptive computation(chain-of-thought)は計画の有無・構造・horizonを制御できず、reasoning長が増大しtoken効率が悪い。 - 提案手法は計画を明示的に分解し、self-regulationで必要な時だけplannerを呼ぶため、効率的なagentic reasoningを実現。 - v0.1-8Bとv1.0-30Bがそれぞれ120-355Bおよび685B-1Tパラメータのシステムと同等のPass@1を達成。 - v1.0-30Bは同等のagentic LLMよりreasoning tokenを25.8-95.3%削減。 - RLにより平均planning horizonが22.8%増加する一方、planning頻度は2.0%しか増えず、より先を見越して計画することを学習。

3. 技術・手法の肝は?

- 意思決定をsimulative reasoning(System II)、self-regulation(System III)、reactive execution(System I)に分解。 - simulative reasoningはworld modelによる将来状態予測に基づく統一的な計画を提供。 - self-regulationは学習済みconfiguratorが計画の要否と深さを決定。 - LLMのchain-of-thought内に両者を別ステージとして実装し、LLM自体をworld modelとして使用。 - v0.1:prompted multi-module systemから決定を記録。 - v1.0:pretrained reasoning LLMのtraceから構造化計画を再構成し、supervised learning後にRLで訓練。

4. どうやって有効だと検証した?

- 数学、科学、表形式分析、web情報探索のタスクで評価。 - v0.1-8Bとv1.0-30Bがそれぞれ120-355Bおよび685B-1Tパラメータのシステムと同等のPass@1を達成。 - v1.0-30Bは同等のagentic LLMよりreasoning tokenを25.8-95.3%削減。 - RLにより平均planning horizonが22.8%増加し、planning頻度は2.0%のみ増加。 - これにより、より先を見越した計画を学習することが示された。

5. 議論はある?

- 学習されたself-regulationは、計画だけでなくエージェントが自身の学習と適応を統治する原理に拡張できると期待。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:reactive policy with adaptive computation(chain-of-thought)、prompted multi-module system、pretrained reasoning LLM。 - 関連手法:world model、supervised learning、reinforcement learning (RL)。 - 同分野の定番:ReAct、Tree of Thoughts、Reflexion、LLM-based planning。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Mingkai Deng, Jinyu Hou, Lara Sá Neves, Varad Pimpalkhute, Taylor W. Killian, Zhengzhong Liu, Eric P. Xing

分類: cs.AI, cs.CL, cs.LG, cs.RO

原文アブストラクト

How should an agent decide when and how to plan? A dominant approach builds agents as reactive policies with adaptive computation (e.g., chain-of-thought), trained end-to-end expecting planning to emerge implicitly. Without control over the presence, structure, or horizon of planning, these systems dramatically increase reasoning length, yielding inefficient token use without reliable accuracy gains. We argue efficient agentic reasoning benefits from decomposing decision-making into three systems: simulative reasoning (System II) grounding deliberation in future-state prediction via a world model; self-regulation (System III) deciding when and how deeply to plan via a learned configurator; and reactive execution (System I) handling fine-grained action. Simulative reasoning provides unified planning across diverse tasks without per-domain engineering, while self-regulation ensures the planner is invoked only when needed. To test this, we develop SR$^2$AM (Self-Regulated Simulative Reasoning Agentic LLM), realizing both as distinct stages within an LLM's chain-of-thought, with the LLM as world model. We explore two instantiations: recording decisions from a prompted multi-module system (v0.1) and reconstructing structured plans from traces of pretrained reasoning LLMs (v1.0), trained via supervised then reinforcement learning (RL). Across math, science, tabular analysis, and web information seeking, v0.1-8B and v1.0-30B achieve Pass@1 competitive with 120-355B and 685B-1T parameter systems respectively, while v1.0-30B uses 25.8-95.3% fewer reasoning tokens than comparable agentic LLMs. RL increases average planning horizon by 22.8% while planning frequency grows only 2.0%, showing it learns to plan further ahead rather than more often. More broadly, learned self-regulation instantiates a principle we expect to extend beyond planning to how agents govern their own learning and adaptation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI