日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

LLM推論arXiv:2610.25596

大規模言語モデルにおける認知マップ

Cognitive Map in Large Language Models

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルが関係推論課題と内部活性化を操作する実験を通じ、動物の認知マップに似た関係構造の抽象表現を形成し、実体を役割に結びつけて推論する仕組みを明らかにした。

詳しい要約

1. どんなもの?

- 大規模言語モデル(LLM)が動物の cognitive map に類似した内部表現を形成するかを検証した研究。 - relational reasoning タスクと、open-weight モデルの内部活性化を操作する causal "mosaic experiments" を用いた。 - 100億パラメータ超のモデルが、明示されていない entity 間関係を推論し、合成 entity 名へ汎化できることを示した。

2. 先行研究と比べてどこがすごい?

- 動物の cognitive map 仮説を LLM に拡張し、行動だけでなく内部活性化の因果操作で検証した点が特徴。 - 従来の relational reasoning 評価に対し、未提示関係の推論と合成名への汎化を扱う。 - 具体的な先行研究名や比較対象は要旨からは不明。

3. 技術・手法の肝は?

- relational reasoning タスクと causal "mosaic experiments" を組み合わせ、内部活性化を操作。 - モデルは relational structure の抽象表現を生成し、entity identity の表現と加算的に結合して entity を役割に binding する。 - 観測関係は pairwise links として保存され、クエリ時に事後的に構成される(事前に global coordinate system へ配置しない)。 - binding は sparse で分散した key--value pairs が媒介し、摂動で "false memories" を注入できる。

4. どうやって有効だと検証した?

- relational reasoning タスクで未提示関係の推論と合成 entity 名への汎化を評価。 - model family と task family を横断して抽象表現と加算的結合を確認。 - key--value pairs を摂動して "false memories" を注入し、モデル行動が予測可能に変化することを検証。

5. 議論はある?

- 言語モデルが限られた情報で推論する仕組みを cognitive map 類似の内部組織として説明。 - 関係を事前に global coordinate system へ配置せず pairwise links の事後構成とする点が議論の対象。 - 限界や反証可能性、スケール依存性の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として relational reasoning、causal "mosaic experiments"、key--value pairs、cognitive map を挙げる。 - 同分野の定番として Transformer の mechanistic interpretability 関連研究を次に読む候補とする。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Albert Qin, Jonathan Cohen, Gautam Reddy

分類: cs.CL, cs.LG

原文アブストラクト

It has long been proposed that animals construct cognitive maps to support flexible behavior in novel environments. We tested whether large language models form similar representations using relational reasoning tasks and causal "mosaic experiments" that manipulate internal activations in open-weight language models. Models beyond the ten-billion-parameter scale successfully inferred unstated relationships between entities and generalized to synthetic entity names. Across model and task families, models generated abstract representations of relational structure and combined them additively with representations of entity identity, binding entities to roles within that structure. Models stored observed relationships as pairwise links that they composed retrospectively when queried, rather than prospectively positioning each entity in a global coordinate system. Binding was mediated by a sparse, distributed set of key--value pairs; by perturbing these pairs, we implanted "false memories" that altered model behavior in predictable ways. Overall, our findings reveal an internal organization analogous to a cognitive map that explains how language models reason with limited information.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI