日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.05665

適応的ストレステストによるブラックボックスLLMプランナの摂動観測下でのロバスト性評価

Characterizing the Robustness of Black-Box LLM Planners Under Perturbed Observations with Adaptive Stress Testing

シェア:XThreadsFacebookLINEはてブBluesky

LLMプランナのプロンプト表現やセンサノイズの摂動に対する挙動を調査し、適応的ストレステストとMCTSで失敗を引き起こす摂動を効率的に探索する手法を提案した。

詳しい要約

1. どんなもの?

- LLM を planner として用いる際の robustness を評価する研究 - 観測の摂動に対する LLM planner の応答を特徴づける - 摂動次元は2つ - 意味的に類似した prompt の言い回し変化(詳細順序のランダム化、few-shot examples へのアクセス変更など) - 多様な sensor と noise へのアクセスを模擬し、raw sensor や detection algorithm の故障を再現 - multi-agent driving environment を対象とした case study を含む

2. 先行研究と比べてどこがすごい?

- 先行研究と同様に、意味的に類似した prompt を言い回し変化で生成する次元を扱う - 独自点は、多様な sensor と noise を模擬する第2の摂動次元を導入したこと - raw sensor や detection algorithm の故障を模倣 - 手動での摂動適用では両次元とも LLM が hallucinate することを case study で示す - 摂動空間全体を手動で網羅するのは不可能であるため、AST と MCTS による効率的探索を提案

3. 技術・手法の肝は?

- adaptive stress testing (AST) と Monte-Carlo tree search (MCTS) を組み合わせた探索手法を提案 - prompt 摂動空間を効率的に探索 - AST の定式化により以下を発見 - LLM を高不確実性や crash に至らせる scenario、sensor configuration、prompt phrasing - 多様な scenario にわたり MCTS prompt perturbation trees を生成 - これにより runtime で生じうる潜在的な failure をオフラインで事前に理解する枠組みを提供

4. どうやって有効だと検証した?

- 摂動を手動で適用する初期 case study を実施 - multi-agent driving environment において両次元の摂動が LLM の hallucination を引き起こすことを確認 - 多様な scenario にわたり MCTS prompt perturbation trees を生成し、extensive experiments を実施 - offline analyses が runtime の潜在的な failure の事前理解に使えることを示した - 具体的な評価指標や比較対象の詳細は要旨からは不明

5. 議論はある?

- 手動で摂動空間全体を複数 scenario にわたり網羅するのは非現実的である点を議論 - LLM の hallucination が sensor の noisy/不確実な環境で悪化するリスクを指摘 - safety-critical scenario での failure を事前に回避する必要性を議論 - offline 分析による runtime failure の事前把握という実用上の意義を示唆 - 限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている先行研究(意味的に類似した prompt を言い回し変化で生成する手法) - adaptive stress testing (AST) - Monte-Carlo tree search (MCTS) - few-shot examples を用いる LLM prompting 研究 - multi-agent driving environment における LLM planner 研究 - LLM の hallucination と safety に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Neeloy Chakraborty, John Pohovey, Melkior Ornik, Katherine Driggs-Campbell

分類: cs.RO, cs.AI, cs.CL

原文アブストラクト

Large language models (LLMs) have recently demonstrated success in decision-making tasks including planning, control, and prediction, but their tendency to hallucinate unsafe and undesired outputs poses risks. This unwanted behavior is further exacerbated in environments where sensors are noisy or unreliable. Characterizing the behavior of LLM planners to varied observations is necessary to proactively avoid failures in safety-critical scenarios. We specifically investigate the response of LLMs along two different perturbation dimensions. Like prior works, one dimension generates semantically similar prompts with varied phrasing by randomizing order of details, modifying access to few-shot examples, etc. Unique to our work, the second dimension simulates access to varied sensors and noise to mimic raw sensor or detection algorithm failures. An initial case study in which perturbations are manually applied show that both dimensions lead LLMs to hallucinate in a multi-agent driving environment. However, manually covering the entire perturbation space for several scenarios is infeasible. As such, we propose a novel method for efficiently searching the space of prompt perturbations using adaptive stress testing (AST) with Monte-Carlo tree search (MCTS). Our AST formulation enables discovery of scenarios, sensor configurations, and prompt phrasing that cause language models to act with high uncertainty or even crash. By generating MCTS prompt perturbation trees across diverse scenarios, we show through extensive experiments that offline analyses can be used to proactively understand potential failures that may arise at runtime. Code is available at https://sites.google.com/illinois.edu/astllm.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI