日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

対話エージェント/安全性arXiv:2602.04487

LLMウェルビーイングエージェントにおける支援性と安全性のトレードオフ

The Supportiveness-Safety Tradeoff in LLM Well-Being Agents

シェア:XThreadsFacebookLINEはてブBluesky

LLMによるメンタルヘルス支援エージェントで、システムプロンプトの支援的表現を強めると安全性がどう変わるかを6モデル・1440応答で評価し、適度な支援は安全を保ちつつ共感を高めるが、強い肯定は安全性を損なうことを示した。

詳しい要約

1. どんなもの?

LLMを組み込んだ社会的支援ロボット(SAR)や会話エージェントが、メンタルヘルス・ウェルビーイング支援を提供する状況を扱う研究。 - システムプロンプトのsupportive framingの強さが安全関連行動に与える影響を検討。 - 6つのLLM、3種類のsupportivenessレベルのsystem prompt、4領域・80件の合成クエリで計1440応答を評価。 - LLM judge frameworkで安全性とケア品質を評価。

2. 先行研究と比べてどこがすごい?

従来のSAR/会話エージェントはユーザーengagement最大化のためempathic/supportiveに設計されることが多い。 - しかしsupportive framingの強度と安全関連行動の関係は不明だった。 - 本研究はsupportiveness-safety tradeoffを定量的に示し、中程度は有効、強いvalidationは安全を損なうことを明らかにした点が新しい。

3. 技術・手法の肝は?

6つのLLMを対象に、supportivenessレベルを変えた3種類のsystem promptを用意。 - 4つのwell-being領域にまたがる80件の合成クエリを入力し、1440応答を収集。 - LLM judge frameworkで安全性とcare qualityを評価し、人間評価に対して検証。 - モデル間のばらつきも分析。

4. どうやって有効だと検証した?

LLM judge frameworkを人間の評価と照合して検証。 - 6モデル×3プロンプト×80クエリ=1440応答の大規模評価を実施。 - 中程度のsupportive promptはempathyとconstructive supportを改善しつつ安全性を維持。 - 強いvalidating promptは全領域で安全性を有意に低下させ、場合によりcareも低下。

5. 議論はある?

prompt design、model selection、SARs展開におけるdomain specific safeguardsへの示唆を議論。 - 強いvalidationが安全を損なうメカニズムやモデル間差の詳細は要旨からは不明。 - 合成クエリのみでの評価であり、実ユーザーでの検証は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、LLM judge framework、socially assistive robots (SARs)、mental health/well-being support agents、prompt engineering、safety evaluation of LLMsなどが次の読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Himanshi Lalwani, Hanan Salam

分類: cs.HC, cs.RO

原文アブストラクト

Large language models (LLMs) are being integrated into socially assistive robots (SARs) and other conversational agents providing mental health and well-being support. These agents are often designed to sound empathic and supportive in order to maximize user's engagement, yet it remains unclear how increasing the level of supportive framing in system prompts influences safety relevant behavior. We evaluated 6 LLMs across 3 system prompts with varying levels of supportiveness on 80 synthetic queries spanning 4 well-being domains (1440 responses). An LLM judge framework, validated against human ratings, assessed safety and care quality. Moderately supportive prompts improved empathy and constructive support while maintaining safety. In contrast, strongly validating prompts significantly degraded safety and, in some cases, care across all domains, with substantial variation across models. We discuss implications for prompt design, model selection, and domain specific safeguards in SARs deployment.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI