日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLM評価arXiv:2606.16127

AuAu: 大規模言語モデルにおける権威主義的整合性の監査のためのベンチマーク

AuAu: A Benchmark for Auditing Authoritarian Alignment in Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデル(LLM)の応答における権威主義的傾向を評価する包括的なベンチマーク「AuAu」を提案し、17モデルを評価して権威主義的応答率やシステムプロンプトによる操作可能性を明らかにした。

詳しい要約

1. どんなもの?

- LLMの権威主義的傾向を評価するベンチマークAuAuを提案 - 3つの評価アプローチを組み合わせ - 心理測定質問(15の人間検証済み尺度) - 具体的状況での意図行動を探るビネット - 現実的なユーザープロンプトへの応答 - 中国、EU、ロシア、米国の17モデルを評価 - 権威主義的傾向の下位概念も測定 - Authoritarian Aggression - Authoritarian Submission - Conventionalism

2. 先行研究と比べてどこがすごい?

- 先行研究と比べ、全体的な権威主義的傾向だけでなく、確立された下位概念(Authoritarian Aggression, Authoritarian Submission, Conventionalism)も測定 - 心理測定、ビネット、現実的プロンプトの3手法を統合 - 多国間のモデルを横断的に評価 - 単純なシステムプロンプトによる操作効果も検証

3. 技術・手法の肝は?

- 15の人間検証済み心理測定尺度からの質問 - 具体的状況での意図行動を探るビネット - 現実的なユーザープロンプトへの応答 - これらを組み合わせて権威主義的傾向を評価 - 下位概念ごとにスコア化 - 権威主義的システムプロンプトによる操作実験

4. どうやって有効だと検証した?

- 17モデル(中国、EU、ロシア、米国)を評価 - 心理測定尺度では全モデルで相当な権威主義的応答率を確認 - より現実的な下流タスクでは応答率が有意に低下 - 単純な権威主義的システムプロンプトが17モデル中15モデルを操作し、権威主義を促進させることを確認

5. 議論はある?

- 心理測定と現実的タスクの間で権威主義的応答率に差がある - システムプロンプトによる操作が多くのモデルで有効 - LLMベースのAIシステムの権威主義的傾向を検出・緩和するための継続的で体系的な監査の必要性を強調 - 具体的な議論や限界については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、LLMの価値観・政治的傾向を評価する研究(例:Political Compass Testを用いた研究)や、心理測定をLLMに適用する研究が挙げられる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andreas Einwiller, Max Klabunde, Florian Lemmerich

分類: cs.CL, cs.AI, cs.LG

原文アブストラクト

The worldwide rise of authoritarianism and the growing role of Large Language Models (LLMs) in users' everyday lives raise the question of whether specific models exhibit or promote authoritarian attitudes. We introduce AuAu, a comprehensive benchmark for assessing the risk of authoritarian tendencies in LLM responses. AuAu combines three evaluation approaches: (i) psychometric questions from 15 human-validated instruments, (ii) vignettes probing intended behavior in concrete situations, and (iii) responses to realistic user prompts. Unlike prior work, AuAu measures not only overall authoritarian alignment but also its established sub-concepts: Authoritarian Aggression, Authoritarian Submission, and Conventionalism. Evaluating 17 models from China, the EU, Russia, and the USA, we find substantial authoritarian response rates on psychometric instruments across all models, though rates drop significantly on more realistic downstream tasks. Moreover, a simple authoritarian system prompt manipulates 15 of 17 models into promoting increased authoritarianism. Our results underscore the need for continued, systematic auditing of LLM-based AI systems to detect and mitigate authoritarian tendencies in their outputs.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI