日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

同変TransformerarXiv:2509.24093

クレブシュ・ゴルダン変換器:高速で大域的な同変アテンション

Clebsch-Gordan Transformer: Fast and Global Equivariant Attention

シェア:XThreadsFacebookLINEはてブBluesky

SO(3)の既約表現上でのクレブシュ・ゴルダン畳み込みにより、全次数の同変特徴を扱いつつO(N log N)の大域アテンションを実現したTransformerを提案。n体シミュレーションやロボット把持などで既存手法より高精度・高速・省メモリを達成。

詳しい要約

1. どんなもの?

- 提案手法は **Clebsch-Gordan Transformer** と呼ばれる、等変(equivariant)な Transformer の新アーキテクチャ。 - 全 order の等変特徴を扱いつつ、global attention を効率的に実現する。 - 入力トークン数に対して **O(N log N)** の計算量を達成。 - 物理・生化学・コンピュータビジョン・ロボティクス等のタスクを対象とする。

2. 先行研究と比べてどこがすごい?

- 既存の等変 Transformer は **低次の等変特徴** と **局所的な context window** しか扱えず、表現力・性能が制限されていた。 - 提案手法は **全 order の等変特徴** を扱いながら **global attention** を実現。 - 計算量を **O(N log N)** に抑え、既存の等変 Transformer に対して GPU メモリ・速度・精度で明確な改善を示す。

3. 技術・手法の肝は?

- **Clebsch-Gordan Convolution** を **SO(3) の既約表現(irreducible representations)** 上で用いて効率的な global attention を実現。 - 全 order の特徴を等変にモデル化しつつ、**Clebsch-Gordan 行列の sparsity** を活用して高次の既約特徴へのスケーリングを可能にする。 - 任意で **token permutation equivariance** を weight sharing または data augmentation により導入。

4. どうやって有効だと検証した?

- **n-body simulation**、**QM9**、**ModelNet** の point cloud classification、**ロボティック grasping データセット** を含む多様なベンチマークで評価。 - 既存の等変 Transformer と比較して、GPU メモリサイズ・速度・精度で明確な改善を示した。

5. 議論はある?

- 要旨からは不明。 - ただし、全 order の等変特徴と global attention を両立させた点、および sparsity 活用によるスケーラビリティが主張されている。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない。 - 関連手法として **equivariant Transformer**、**Clebsch-Gordan Convolution**、**SO(3) irreducible representations** に関する文献が次に読むべき候補。 - ベンチマーク関連では **QM9**、**ModelNet**、**n-body simulation** の定番手法も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Owen Lewis Howell, Linfeng Zhao, Xupeng Zhu, Yaoyao Qian, Haojie Huang, Lingfeng Sun, Wil Thomason, Robert Platt, Robin Walters

分類: cs.LG, cs.CV, cs.RO

原文アブストラクト

The global attention mechanism is one of the keys to the success of transformer architecture, but it incurs quadratic computational costs in relation to the number of tokens. On the other hand, equivariant models, which leverage the underlying geometric structures of problem instance, often achieve superior accuracy in physical, biochemical, computer vision, and robotic tasks, at the cost of additional compute requirements. As a result, existing equivariant transformers only support low-order equivariant features and local context windows, limiting their expressiveness and performance. This work proposes Clebsch-Gordan Transformer, achieving efficient global attention by a novel Clebsch-Gordon Convolution on $\SO(3)$ irreducible representations. Our method enables equivariant modeling of features at all orders while achieving ${O}(N \log N)$ input token complexity. Additionally, the proposed method scales well with high-order irreducible features, by exploiting the sparsity of the Clebsch-Gordon matrix. Lastly, we also incorporate optional token permutation equivariance through either weight sharing or data augmentation. We benchmark our method on a diverse set of benchmarks including n-body simulation, QM9, ModelNet point cloud classification and a robotic grasping dataset, showing clear gains over existing equivariant transformers in GPU memory size, speed, and accuracy.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI