日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェント計画arXiv:2607.24720

マルチターン長期間計画の物理:事前学習から事後学習まで、単一・複数教師によるオンポリシーエージェント蒸留を通じて

The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

シェア:XThreadsFacebookLINEはてブBluesky

制御可能なマルチターン環境を導入し、事前学習と事後学習の各段階で長期間計画能力がどのように獲得・形成されるかを体系的に研究した論文。

詳しい要約

1. どんなもの?

本論文は、マルチターン長期的計画(multi-turn long-horizon planning)能力が、どのように獲得・形成・統合されるかを、統一的で制御可能なマルチターン環境を用いて体系的に研究したものである。具体的には、事前学習(pre-training)、GRPOやOPDによる後学習(post-training)、そしてマルチティーチャー・オンポリシー蒸留(MOPD)による統合の3段階に分け、データ形式・分布・品質、報酬設定、教師の知識の違いなどが計画能力に与える影響を分析する。

2. 先行研究と比べてどこがすごい?

既存のモデルは制御不能で不透明なインターネットデータで訓練されるため、計画能力がどのように獲得・形成・統合されるかを特定することが難しい。本研究は、統一的で制御可能な環境を導入することで、これらの要因を精密に制御し、事前学習から後学習までの各段階で計画能力の変化を体系的に分析できる点が優れている。また、単一教師と複数教師の蒸留を比較し、能力統合のメカニズムを明らかにしている点も新しい。

3. 技術・手法の肝は?

手法の肝は、統一的で制御可能なマルチターン環境を構築し、事前学習データの形式(CoT状態遷移モデリングによる明示的な世界モデル構築)、分布、品質を操作できる点にある。後学習では、GRPOとOPDを比較し、相互情報量を用いて一般的な計画パターンとタスク固有の計画知識を区別する。さらに、複数教師からのオンポリシー蒸留(MOPD)を導入し、教師間のパターンの互換性が統合に与える影響を分析する。

4. どうやって有効だと検証した?

有効性の検証方法は、要旨からは具体的な実験設定や評価指標は不明であるが、統一的環境を用いて事前学習、後学習、統合の各段階で計画能力の変化を測定し、データ品質や教師の知識の違いが性能に与える影響を比較したと考えられる。特に、低品質・長期的設定でのGRPOとOPDの比較、MOPDによるクロス環境汎化や継続学習の評価などが行われたと推測される。

5. 議論はある?

議論としては、事前学習において、原子スキルだけでは合成的汎化に不十分であり、長期的データが少量でも有効であること、また、最適でない軌道は長期的な誤差の増幅により性能を著しく損なうことが示された。後学習では、計画パターンに対する後学習の適用領域が不要・有効・非対応の3つに分類され、低品質・長期的設定ではOPDがGRPOより有効であることが示された。さらに、知識の異なる教師からの蒸留は、学生の既存の世界モデルを損なう可能性がある。MOPDでは、パターンが完全に矛盾する場合に深刻な干渉が生じることが示された。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、GRPO(Group Relative Policy Optimization)とOPD(On-Policy Distillation)が挙げられる。また、マルチターン長期的計画の基礎として、事前学習におけるCoT(Chain-of-Thought)状態遷移モデリングや、マルチエージェント強化学習、蒸留に関する研究が関連する。具体的な論文名は要旨にないため、同分野の定番として、大規模言語モデルのエージェント計画に関する研究や、強化学習における蒸留手法の論文を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Multi-turn long-horizon planning is critical for foundation model agents, yet how to fundamentally improve it remains unclear. Existing models are trained on uncontrollable and opaque Internet data, making it difficult to identify how planning ability is acquired, shaped, and integrated. To address this challenge, we introduce a unified and controlled multi-turn environment that enables precise control. It allows systematically study long-horizon planning across three stages. (1) Planning ability acquisition during pre-training. We study data format, distribution, and quality. Explicit world model construction through CoT state transition modeling yields stronger long-horizon generalization. Atomic skills alone are insufficient for compositional generalization, whereas a litte long-horizon data works. Moreover, suboptimal trajectories severely impair performance because errors amplify over long horizons. (2) Planning ability shaping via GRPO and OPD post-training. Through mutual information, we distinguish general planning patterns from task-specific planning knowledge. For planning patterns, we identify three application regions of post-training: unnecessary, effective, and unsupported. OPD has a broader effective region than GRPO under low-quality and long-horizon settings, as it provides more consistent update directions. For planning knowledge, distilling unseen procedures from a teacher with different knowledge may impair student's prior world modeling without fully establishing new knowledge. (3) Planning ability integration through MOPD post-training. We show that multi-teacher on-policy distillation (MOPD) integrates capabilities by converging to shared planning-pattern across environments. Compatible patterns enable cross-environment generalization, partially shared patterns support continual learning, while completely conflicting patterns cause severe interference.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI