日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェントarXiv:2607.23332

AllocBench: LLMエージェントにおけるオンラインツール割り当て能力の測定

AllocBench: Measuring Online Tool Allocation Capability in LLM Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLMエージェントが限られた予算内で再利用可能なツールを効率的に作成・割り当てできるかを測るベンチマークを提案し、最先端モデルが抽象的な課題では最適に近い行動をする一方、コード作成タスクではその能力を転移できないことを示した。

詳しい要約

1. どんなもの?

LLMエージェントが固定予算の下でオンラインツール割り当て(再利用可能なツールを少数作成するか、使い捨てを多数作成するか)を行う能力を測定するペアベンチマーク「AllocBench」を導入した研究。抽象的なテキストベースの課題とコード構築課題の2つの文脈で、フロンティアモデル(Claude Haiku, Claude Opus, GPT-5.4-mini, GPT-5.6 Sol)の意識的な割り当て行動を検証する。

2. 先行研究と比べてどこがすごい?

従来のベンチマークはツール使用や作成の成功率に焦点を当てることが多いが、本研究はツール作成の投資対効果(固定コストと将来の再利用可能性)に着目し、エージェントが予算制約下でツール数を最適化できるかを評価する点が新しい。また、抽象的な設定と現実的なコード構築設定をペアにすることで、能力の転移を測定する点が独自。

3. 技術・手法の肝は?

手法の肝は、同一の割り当て問題を抽象的なテキスト形式とコード構築タスクの2つの形式で提示し、モデルの行動を比較すること。さらに、スクリプト評価の有無や、抽象割り当てで訓練されたオープンソースモデル(Qwen)の転移性能を調べることで、失敗モードを特定する。

4. どうやって有効だと検証した?

フロンティアモデル4種(Claude Haiku, Claude Opus, GPT-5.4-mini, GPT-5.6 Sol)を対象に、抽象フレーミングではほぼ最適な行動を示すが、コード構築タスクでは転移できないことを実証。さらに、スクリプト非評価条件下での実験や、Qwenモデルの一般化実験を通じて、各モデルの特定の失敗モードを特定した。

5. 議論はある?

要旨からは、オンラインツール割り当てが現代のフロンティアモデルにとっても重要な能力境界であることが示唆される。しかし、なぜ抽象からコード構築への転移が失敗するのか、その根本原因や、訓練方法による改善可能性については要旨からは不明。また、評価指標の詳細や、実世界での応用可能性についての議論は要旨に含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、LLMエージェントのツール使用・作成に関する研究(例:Toolformer, ReAct, HuggingGPT)や、ベンチマーク設計に関する研究(例:AgentBench, SWE-bench)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daniel Wang, Andrew Xu

分類: cs.LG

原文アブストラクト

Creating a reusable tool is an investment: an agent pays a fixed cost now in exchange for the potential of future reuse. Therefore, a user should prefer an agent that creates a small number of highly reusable tools, rather than many one-offs. We introduce a paired benchmark that tests whether LLM agents exhibit conscious allocation behavior under a fixed budget in two contexts: an abstract text-based formulation and a code-construction task. We find that every frontier model we test---Claude Haiku, Claude Opus, GPT-5.4-mini, and GPT-5.6 Sol---acts near-optimally in the abstract framing but fails to transfer this ability to script-writing. Through further experiments, we identify the particular failure modes for each model. Notably, the first three models fail even when the scripts are not evaluated, while GPT-5.6 Sol stays selective under that weaker manipulation and collapses only at full construction. Furthermore, an open-source Qwen model policy-trained for abstract allocation generalizes this ability across held-out lexical variations, but sees no improvement at script allocation. Together, these results establish online tool allocation as a significant capability boundary, even for modern frontier models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI