日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

言語モデルarXiv:2606.21645

大規模言語モデルにおける二項式の語順選好の行動的・表象的証拠

Behavioral and Representational Evidence of Binomial Ordering Preferences in Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルが言語的な二項式(例:men and women)の語順選好をどの程度捉えているかを、多言語データセットとプロービングを用いて分析し、モデルの内部表現が選好の強さを部分的に符号化していることを示した。

詳しい要約

1. どんなもの?

- LLMが二項表現(例: men and women)の語順選好をどの程度再現するかを調べる研究。 - 二項順序を分布的整合問題として定式化し、8言語・600ペアの多言語データセットを構築。 - 6つのopen-weight LLMの順序確率をコーパス由来の選好と比較。 - 行動的・表現的証拠から、LLMの統計的選好の内部表現と操作可能性を示す。

2. 先行研究と比べてどこがすごい?

- 従来のLLM研究は慣用的表現の再現に焦点を当て、勾配のある頻度分布のモデル化は未探索。 - 本研究は二項表現を用いて、コーパス選好分布とモデル誘導順序確率を定量的に比較。 - 強い慣用ペアでは支配的順序を再現するが、正確な分布整合は不十分であることを示す。 - これにより、見かけの方向性順序がLLMの言語使用の統計的ニュアンスの忠実さを過大評価する可能性を指摘。

3. 技術・手法の肝は?

- 二項順序を分布的整合問題として形式化。 - 8言語・600二項ペアの多言語データセットを構築。 - カテゴリカル指標と分布的指標で、コーパス由来選好と6つのopen-weight LLMの順序確率を測定・比較。 - Sparse probingで選好強度の概念が中間〜後半層に部分的にエンコードされることを検証。 - probe由来方向に沿ったsteeringでモデル誘導順序分布を変化させ、内部表現を介した機構的測定・操作を実証。

4. どうやって有効だと検証した?

- カテゴリカル指標と分布的指標を用いて、コーパス選好とモデル順序確率を比較。 - 6つのopen-weight LLMを対象に、行動的再現性と分布的整合性を評価。 - Sparse probingにより、選好強度が中間〜後半層に部分的にエンコードされることを確認。 - Steering実験で、probe由来方向に沿った操作がモデル誘導順序分布を変化させることを示す。

5. 議論はある?

- モデルは強い慣用ペアで支配的順序を行動的に再現するが、正確なコーパス選好分布との整合は不十分。 - 見かけの方向性順序がLLMの統計的ニュアンスの忠実さを過大評価する可能性を議論。 - 選好強度の内部表現が部分的にエンコードされ、steeringで操作可能であることを示す。 - その他の議論や限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、linguistic binomials、sparse probing、steering、distributional alignmentが挙げられる。 - 同分野の定番として、LLMの言語統計学習や内部表現解析に関する研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhiqing Yang, Yilun Liu, Yunpu Ma, Volker Tresp, Hinrich Schütze

分類: cs.CL, cs.LG

原文アブストラクト

Large language models (LLMs) can readily reproduce conventional expressions, yet their ability to model gradient frequency distributions remains underexplored. We investigate this using linguistic binomials, such as men and women, where both word permutations are grammatically valid but exhibit distinct, cross-linguistic variations in conventionality. We formalize binomial ordering as a distributional alignment problem, and construct a multilingual dataset of 600 binomial pairs across 8 languages. With categorical and distributional metrics, we measure and compare the corpus-derived preferences with model-induced ordering probabilities of 6 open-weight LLMs. While models often behaviorally recover the dominant corpus-preferred order, particularly for strongly conventionalized pairs, they align less well with the exact corpus preference distributions. This suggests that apparent directional order overstates how faithfully LLMs capture the statistical nuances of language use. Sparse probing verifies that the concept of preference strength is partially encoded among middle-to-late layers, and steering along probe-derived directions alters model-induced ordering distributions, demonstrating that the statistical behavioral preference of LLMs can be mechanistically measured and manipulated via internal representations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI