日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

推論学習arXiv:2607.21856

LeAct: 専門家の行動から推論を学習する

LeAct: Learning to Reason from Expert Actions

シェア:XThreadsFacebookLINEはてブBluesky

専門家システムの行動から、その背後にある思考の連鎖を潜在変数として復元し、自然言語の推論として学習する手法を提案。ゲームやロボティクスで直接模倣を上回る性能を達成した。

詳しい要約

1. どんなもの?

LeAct (Learning to reason from Actions) は、エキスパートシステム(ゲームエンジン、古典的プランナー、定理証明器など)が生成する行動のみから、その背後にあるChain of Thought (CoT) を潜在変数として復元し、自然言語の推論データを生成する枠組みを提案する。これにより、エキスパートシステムを推論モデルの教師として活用する。

2. 先行研究と比べてどこがすごい?

従来の推論データは人手による注釈か、より強力なLLMからの蒸留に依存していた。LeActは、これまで未活用だったエキスパートシステムの行動を教師として用いる点が新しい。また、エキスパートの行動からCoTを復元することを潜在変数推定として定式化し、学生モデル自身の行動再現確率を改善するCoTのみを保持する点が、単なる模倣やExpert Iterationと異なる。

3. 技術・手法の肝は?

手法の核は、エキスパートの行動を観測し、その行動を生成したであろうCoTを潜在変数として扱い、EM的なアプローチで最適化すること。具体的には、学生モデルが各エキスパート行動に対して複数のCoT候補をサンプリングし、そのCoTを用いた際に学生自身がその行動を再現する確率が向上したものだけを保持する。これにより、行動を説明するだけでなく、学生のポリシー改善に寄与する推論を学習する。

4. どうやって有効だと検証した?

不完全情報ゲーム(複数スケール)とシミュレーションロボティクスベンチマークで検証。小規模な列挙可能なゲームではソルバーの数値的限界に到達。大規模では、最強のExpert Iterationベースラインより5倍ソルバーに近い。Flop Hold'em(約10^9 infosets)では対戦で+60 mbb/gの勝利。ロボティクスプローブでは、直接模倣を改善する唯一の訓練レシピであることを示した。

5. 議論はある?

要旨からは、LeActがエキスパートシステムの行動から推論を復元する際の限界(例えば、行動が最適でない場合や、CoTが一意に定まらない場合)や、計算コスト、他のドメインへの適用可能性などについての議論は不明。また、生成されたCoTの品質や解釈可能性についての考察も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、Expert Iteration、模倣学習、Chain of Thought推論、潜在変数モデル(EMアルゴリズム)などが挙げられる。具体的な論文名は不明だが、これらの分野の代表的な研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ziran Yang, Chengshuai Shi, Raj Ghugare, Benjamin Eysenbach, Karthik Narasimhan, Chi Jin

分類: cs.LG, cs.AI, cs.CL

原文アブストラクト

Modern reasoning models depend on reasoning data, today sourced from human annotations or distilled from stronger LLMs. However, a rich and largely untapped source of supervision lies in expert systems (e.g., game engines, classical planners, theorem provers), which routinely produce near-optimal actions across diverse domains. But these experts are silent: they commit to an action without writing down the chain of thought (CoT) behind it. Recovering that CoT as natural-language reasoning would distill expert knowledge into a student that generalizes beyond the demonstrated actions. We treat it as a latent variable and study how to recover it from the action alone. Our approach, LeAct (Learning to reason from Actions), optimizes this latent variable: the student samples candidate CoTs for each expert action, and we retain those that measurably improve its own probability of recovering the action. Across imperfect-information games at multiple scales and a simulated robotics benchmark, LeAct reaches the solver's numerical floor on small enumerable games. At larger scale, it is $5\times$ closer to the solver than the strongest expert-iteration baseline. At Flop Hold'em ($\sim 10^9$ infosets), LeAct wins head-to-head by $+60$ mbb/g, and on the robotics probe it is the only training recipe that improves on direct imitation. We present a principled framework and the result: expert systems become a categorically new source of reasoning teachers for foundation models.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI