日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLM推論arXiv:2610.27190

タスク合成時の脆弱性:言語モデルにおける暗黙の予算配分

On the Fragility of Tasks under Composition: Implicit Budgeting in Language Models

シェア:XThreadsFacebookLINEはてブBluesky

複数タスクを1つのプロンプトで解かせると、単独では解けるタスクでも合成時に誤りが増える現象を分析し、モデルがタスクごとに暗黙のトークン予算を配分していることを示した研究。

詳しい要約

1. どんなもの?

- 言語モデルが単一 prompt 内で複数タスクを合成(composition)する際の性能劣化を分析した研究。 - 各構成タスクを単独(isolation)では信頼できるのに、合成すると誤りが大幅に増える現象を特定。 - この劣化は独立誤差の累積では説明できず、暗黙の thinking budget に起因すると主張。 - open-weight models と frontier model の Claude Opus 5 の両方で観察。

2. 先行研究と比べてどこがすごい?

- 従来は合成時の誤りを独立誤差の累積として扱いがちだが、それでは説明できないことを示した点が新しい。 - 合成下では context window に余裕があってもタスクあたりの token 消費が減ることを発見。 - 単独で長い solution trace を要するタスクほど合成下で fragile になるという性質を指摘。 - 単独時の非 fragile タスクは過剰な reasoning で compute を浪費していることも示す。

3. 技術・手法の肝は?

- 合成時と単独時でタスクあたりの token 使用量を比較し、暗黙の thinking budget の存在を推定。 - タスクごとの fragility(合成時の誤り増加)を指標化し、solution trace の長さとの関係を分析。 - fragility に基づきタスクをグループ化することで暗黙の budgeting を操作。 - これにより math および linguistic タスクで精度を保ちつつ token 使用量を 43% 削減。

4. どうやって有効だと検証した?

- open-weight models と Claude Opus 5 を含む複数モデルで合成と単独の性能を比較。 - 独立誤差の累積モデルでは説明できない劣化を実測で示す。 - 合成下でのタスクあたり token 数の減少を測定。 - fragility によるグループ化で token 43% 削減と精度維持を math・linguistic タスクで確認。

5. 議論はある?

- 合成時の劣化が暗黙の thinking budget に由来するという解釈の妥当性。 - fragility に基づくグループ化が一般的なタスク群でも有効かは要旨からは不明。 - 非 fragile タスクへの過剰 reasoning をどう最適化するかは要旨からは不明。 - モデル規模やタスク種別による暗黙 budget の違いは要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として composition 下の推論、thinking budget / reasoning token 制御、chain-of-thought の token 配分に関する研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chenpan Li, Thies Brockmoeller, Stefanie Jegelka, Sharut Gupta, Nikolaos Karalias

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

Modern language models are increasingly asked to handle several tasks within a single prompt. Doing so requires solving each task correctly while integrating the resulting answers into a coherent response. In this paper, we identify a fundamental limitation in this process, where models make substantially more errors when tasks are composed, even when they can solve every constituent task reliably in isolation. This degradation cannot be fully explained by the accumulation of independent errors. Across both open-weight models and the frontier model Claude Opus 5, our findings instead point to an implicit thinking budget underlying this effect. In particular, under composition, models use substantially fewer tokens per task than in isolation, even when the full sequence remains well within the context window. Tasks that require longer solution traces in isolation are consequently more $\textit{fragile}$ under composition, i.e., models make more errors on prompts containing these tasks. In isolation, non-fragile tasks receive more reasoning than they need and waste compute. However, by grouping tasks according to their fragility, the implicit budgeting can be manipulated to reduce token usage by $43$\% across a range of math and linguistic tasks while also preserving accuracy.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI