日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLMエージェントarXiv:2609.29508

LLMエージェントのマルチターン一貫性評価:生存分析と失敗理由の分類体系

Evaluation of Multi-Turn Consistency in LLM Agents: Survival Analysis and Failure-Rationale Taxonomy

シェア:XThreadsFacebookLINEはてブBluesky

20ステップのマルチエージェント実験で8モデル・約8.5万軌跡を分析し、報酬を先延ばしにするか即時獲得するかの一貫性を生存分析で評価。失敗理由を7分類し、時間・文脈による変化や熟考の矛盾傾向を明らかにした。

詳しい要約

1. どんなもの?

LLM agentの多ターン一貫性を、delayed-gratification課題を模した20ステップの制御されたmulti-agent設定で評価する研究。各ステップでagentは報酬を遅延継続するか即時claimしてepisodeを終了するかを選ぶ。social visibility(private/public)、persona stressors、deliberation policyのfull-factorial操作で8 model familiesにわたり84,540 trajectoriesを実行。最初のreward-claimをtime-to-eventとして扱い、Kaplan-Meier生存曲線とdiscrete-time hazard regressionで失敗リスクの時間変化を定量化。さらに失敗時の13,780 deliberation tracesから7カテゴリのtaxonomyを構築し、rationaleと言語パターンを分析する。

2. 先行研究と比べてどこがすごい?

従来のLLM agent評価はisolated taskでの性能に偏り、extended interactionでの一貫性ドリフトを扱いにくい。本研究はdelayed-gratification研究に着想を得た制御されたmulti-turn設定で、時間的失敗をsurvival analysisとして定式化し、失敗リスクを時間軸で定量化する点が新しい。さらに失敗のrationaleを7カテゴリtaxonomyで分類し、時間・文脈によるrationale profileの系統的変化や、deliberation長とintra-rationale contradictionの関連を示す。これによりモデル固有のfailure fingerprintsと時間的信頼性regimeを診断する評価レンズを提供する。

3. 技術・手法の肝は?

20ステップのmulti-agent delayed-gratification課題で、各ステップに継続か即時claimの二択を置く。social visibility(private/public)、persona stressors、deliberation policyをfull-factorialで操作し、8 model familiesの84,540 trajectoriesを収集。最初のreward-claimをtime-to-event outcomeとし、Kaplan-Meier survival curvesとdiscrete-time hazard regressionで実験要因がfailure riskを時間とともにどう変えるか推定。失敗時の13,780 deliberation tracesに対し、LLM-assisted labelingとhuman audit(κ=0.83)を組み合わせ、7カテゴリtaxonomyでrationaleを分類。deliberation長とintra-rationale contradiction(pro-delayとpro-c…

4. どうやって有効だと検証した?

8 model familiesにわたる84,540 trajectoriesという大規模なfull-factorial実験で検証。生存分析ではKaplan-Meier曲線とdiscrete-time hazard regressionにより、social visibility、persona stressors、deliberation policyがfailure riskを時間的にどうシフトさせるかを定量化。rationale分析では13,780 deliberation tracesを7カテゴリtaxonomyでラベリングし、LLM-assisted labelingにhuman auditを併用してκ=0.83の一致を確認。early failureはimpulse-driven、later failureはfatigueやcost-benefit framed、public設定ではnorm-oriented justificationが増えるなど、時間・文脈に応じたrationale profileの系統的変化を報告。

5. 議論はある?

early failuresはimpulse-driven、later failuresはfatigueおよびcost-benefit-framed、public settingsではnorm-oriented justificationsが増えるなど、rationale profilesが時間とcontextで系統的に変化する。また失敗のうちdeliberationが長いほどintra-rationale contradiction(pro-delayとpro-claimの同時表明)の率が高く、『reasoning textが多いほど一貫性が高い』という仮定に疑問を投げる。survival分析とrationale分析を合わせ、異なるtemporal reliability regimesとmodel-specific failure fingerprintsが示され、multi-turn agent behaviorのinconsistency診断に有用な評価視点を提供する。

6. 次に読むべき論文は?

要旨では具体的な参照論文・比較手法は明示されていない。関連する次読候補としては、delayed-gratification studies、LLM agentのmulti-turn consistency評価、survival analysisをagent評価に応用した研究、LLM-assisted labelingとhuman auditを組み合わせたrationale taxonomy研究、intra-rationale contradictionやself-consistencyを扱う研究が挙げられる。要旨からは個別の論文名は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Igor Bogdanov, Olga Manakina, Chung-Horng Lung

分類: cs.AI, cs.CL, cs.LG, cs.MA

原文アブストラクト

Large language model (LLM) agents may perform well on isolated tasks yet drift into inconsistency over extended interaction. We evaluate temporal consistency in a controlled 20-step multi-agent setting inspired by delayed-gratification studies. At each step, an agent chooses between continuing to delay a reward or claiming it immediately (terminating the episode). Across a full-factorial manipulation of social visibility (private vs public), persona stressors, and deliberation policy, we run 84,540 trajectories spanning 8 model families. Treating the first reward-claim as a time-to-event outcome, we estimate Kaplan-Meier survival curves and fit discrete-time hazard regression to quantify how experimental factors shift failure risk over time. Then, to analyze rationales and language patterns associated with failure, we build a seven-category taxonomy from 13,780 deliberation traces from agents who choose to terminate the episode, using an LLM-assisted labeling paired with human audit ($κ=0.83$). Rationale profiles change systematically with time and context: early failures are more impulse-driven, later failures more fatigue- and cost-benefit-framed, while public settings increase norm-oriented justifications. We also find a deliberation-inconsistency association: among failures, longer deliberation correlates with higher rates of intra-rationale contradiction (simultaneous pro-delay and pro-claim statements), challenging the assumption that more reasoning text implies greater consistency. Together, the survival and rationale analyses reveal distinct temporal reliability regimes and model-specific "failure fingerprints", offering an evaluation lens for diagnosing inconsistency in multi-turn agent behavior.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI