日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェント学習arXiv:2607.15524

再帰的ハーネス自己改善

Recursive Harness Self-Improvement

シェア:XThreadsFacebookLINEはてブBluesky

エージェントの実行トレースを改善するために、ユーザー構築のハーネスを反復的に洗練する手法を提案し、低推論コストで性能を向上させる。

詳しい要約

1. どんなもの?

本論文は、モデルとハーネス(推論時の枠組み)が共進化するパラダイムにおいて、ユーザーが構築したハーネスをタスク特異的に最適化する手法「Recursive Harness Self-Improvement (RHI)」を提案する。RHIは、ハーネスをエージェントループのプロンプトレベルの仕様として表現し、自身の改訂履歴に対するペアワイズフィードバックを用いて反復的に改良する。これにより、実行トレースの質を向上させ、将来の基盤モデル訓練に有用なデータを生成することを目指す。

2. 先行研究と比べてどこがすごい?

従来のハーネスは推論時の足場(inference-time scaffold)と見なされることが多かったが、本論文ではハーネスをデータ生成コンポーネントとして捉え、その実行トレースが将来のモデル訓練に影響するという「harness-in-the-loop learning」の視点を導入する。また、プロバイダーが構築したハーネスの継続的更新はコストが高いため、ユーザー構築ハーネスを軽量かつ少数回の更新で最適化する点が新しい。

3. 技術・手法の肝は?

RHIは、ハーネスをプロンプトレベルの仕様として表現し、反復的に改訂する。具体的には、過去の改訂履歴からペア(旧版と新版)を選び、それらの実行結果に基づくペアワイズフィードバックを用いて、新版の品質を評価・改善する。このプロセスは計算的に軽量で、数回の更新で収束する。また、情報理論的な観点から、RHIの暗黙の最適化目的を定式化している。

4. どうやって有効だと検証した?

30の合成機械学習研究タスク(量的金融、ロボティクス、薬学を含む)で検証した。低推論努力(low-reasoning-effort)のエージェントにRHIを数回適用するだけで、性能の上限が大幅に向上し、最大推論努力(maximum-reasoning-effort)の設定を超えることを示した。さらに、推論コストを最大60%削減できることを確認した。また、性能向上は主にエージェント間の情報フロー改善によるタスク固有のコンテキスト管理の向上に起因し、推論トレースの長さではないことを示した。

5. 議論はある?

要旨からは、RHIの適用範囲や限界についての議論は不明である。ただし、性能向上が推論トレースの長さではなく情報フロー改善によるものであるという発見は、ハーネス設計の重要性を示唆している。また、情報理論的な仮説として定式化しているが、その実証的な検証は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、モデルとハーネスの共進化(model--harness co-evolution)やharness-in-the-loop learningに関連する研究が考えられる。具体的には、推論時スキャフォールディング(inference-time scaffolding)やプロンプト最適化(prompt optimization)に関する論文が次に読むべき候補である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

分類: cs.LG, cs.AI

原文アブストラクト

Under model--harness co-evolution, harnesses are not merely inference-time scaffolds but data-generating components whose execution traces can shape future foundation models. This motivates harness-in-the-loop learning: optimizing harnesses for both immediate agent performance and the quality of traces used for future model training. However, continually updating provider-built scaffolds is costly and labor-intensive. We therefore investigate whether optimizing user-constructed harnesses in a task-specific manner can improve execution-trace quality while remaining computationally lightweight and requiring only a few update iterations. To this end, we introduce Recursive Harness Self-Improvement (RHI), which represents the harness as a prompt-level specification of the agent loop and iteratively refines it using pairwise feedback over its own revision history. Across 30 synthetic machine-learning research tasks spanning quantitative finance, robotics, and pharmacy, a few RHI iterations suffice to substantially raise the performance ceiling of low-reasoning-effort agents, exceeding the corresponding maximum-reasoning-effort setting while reducing inference cost by up to 60%. We show that these gains arise primarily from improved task-specific context management through more effective inter-agent information flow rather than longer reasoning traces. Finally, we formalize this behavior as an information-theoretic hypothesis for RHI's implicit optimization objective, suggesting RHI as a practical algorithm for continual learning within the paradigm of model--harness co-evolution.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI