日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

幾何学学習arXiv:2606.20547

トークンは群の要素:行列リー群上のリー代数アテンション

The Token Is a Group Element: On Lie-Algebra Attention over Matrix Lie Groups

シェア:XThreadsFacebookLINEはてブBluesky

アテンションのトークンを行列リー群の要素として扱い、相対姿勢のリー代数ノルムをスコアに用いる新しいアテンション機構を提案した論文。

詳しい要約

1. どんなもの?

本論文は、attention の token を matrix Lie group $G$ の要素 $g_i$ そのものとして扱う Lie-Algebra Attention を提案する。 - token は feature payload や外部作用 $\rho(g)$ を持たない「裸の変換」である。 - ペアの相対幾何 $g_i^{-1} g_j$ は canonical であり、不変量 $w_{ij} = \log(g_i^{-1} g_j)$ が内在的に定まる。 - attention score は $s_{ij} = -\|\log(g_i^{-1} g_j)\|_\lambda^2/\tau$ という閉形式で与えられる。 - 対象は任意の matrix Lie group であり、scale や shear を含む非コンパクト非可換 affine 群にも適用できる。

2. 先行研究と比べてどこがすごい?

従来の attention は vector token や irrep ベースの手法が主流で、affine full-frame 群など一部の群を扱えなかった。 - 本手法は token を裸の matrix Lie group 要素とすることで、irrep や surjective-exp ベースの手法が排除していた affine full-frame 群に到達する。 - score は学習カーネルではなく相対 pose の閉形式 algebra norm であり、表現論的機構を一切必要としない。 - 実験では、同じ不変量上の learned MLP kernel と同等以上、SE(2) では上回り、score パラメータを 50〜80 倍削減。 - vector-token baseline は不変性を 5〜12 桁破るのに対し、本手法はそれを回避する。

3. 技術・手法の肝は?

token を matrix Lie group $G$ の要素 $g_i$ とし、ペアの相対変換 $g_i^{-1} g_j$ を取る。 - その logarithm $w_{ij} = \log(g_i^{-1} g_j)$ を intrinsic な不変量として用いる。 - attention score は $s_{ij} = -\|\log(g_i^{-1} g_j)\|_\lambda^2/\tau$ で、block-weighted Frobenius 内積による canonical proximity kernel。 - 対角 $G$-作用の下での equivariance は自明に成立し、cocycle 条件も自動的に満たされる。 - 選んだ logarithm chart が相対 pose を含む任意の matrix Lie group に適用可能。

4. どうやって有効だと検証した?

SE(2)、SO(3)、Aff(2) の 3 つの sequence-completion 実験で検証。 - 閉形式 score は同じ不変量上の learned MLP kernel と同等の性能を示し、SE(2) ではそれを上回った。 - score パラメータ数は 50〜80 倍少ない。 - vector-token baseline は不変性を 5〜12 桁破ることが示された。

5. 議論はある?

要旨からは不明。 - 限界や失敗ケース、計算コスト、logarithm chart の選択依存性などについての議論は要旨に記載がない。

6. 次に読むべき論文は?

要旨で参照・比較されている研究として、irrep ベースの手法、surjective-exp ベースの手法、vector-token attention、learned MLP kernel が挙げられる。 - 関連手法として、SE(2) や SO(3) 上の attention、Aff(2) を含む affine 群への拡張、Lie group 上のカーネル設計などが次に読むべき候補。 - 具体的な論文名は要旨に明記されていないため、同分野の定番として Lie group equivariant attention や representation-theoretic attention の文献を参照されたい。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Przemyslaw Musialski

分類: cs.LG, cs.CV, cs.GR, cs.RO, math.DG

原文アブストラクト

We place the attention token on the group: a token is an element $g_i$ of a matrix Lie group $G$ -- a bare transformation, with no feature payload and no external action $\rho(g)$ carrying it. To our knowledge this is the first attention construction whose tokens are bare matrix Lie group elements: their score is the closed-form algebra norm of the relative pose rather than a learned kernel, and it reaches the affine full-frame groups that every irrep- or surjective-exp-based method must exclude. We call it Lie-Algebra Attention. Once tokens are group elements, the rest follows with none of the usual representation-theoretic machinery. The relative geometry of a pair is canonical, $g_i^{-1} g_j$, so the pairwise invariant $w_{ij} = \log(g_i^{-1} g_j)$ is intrinsic rather than designed; equivariance under the diagonal $G$-action is tautological, and the cocycle condition holds automatically. The attention score is the negative squared algebra norm, $s_{ij} = -\|\log(g_i^{-1} g_j)\|_\lambda^2/\tau$: the canonical proximity kernel under a block-weighted Frobenius inner product, with no irreducible representations, spherical harmonics, Clebsch-Gordan products, or learned kernel. The construction applies to any matrix Lie group on a chosen logarithm chart containing the relative poses, including the non-compact non-abelian affine groups with scale and shear that no vector-token attention method reaches: neither the irrep tradition nor surjective-exp methods. Three sequence-completion experiments, on SE(2), SO(3), and Aff(2), bear this out: the closed-form score matches a learned MLP kernel on the same invariant and outperforms it on SE(2), using 50 to 80x fewer score parameters, while a vector-token baseline breaks invariance by five to twelve orders of magnitude.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI