日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

言語モデルarXiv:2605.04759

Gyan: 説明可能なニューロシンボリック言語モデル

Gyan: An Explainable Neuro-Symbolic Language Model

シェア:XThreadsFacebookLINEはてブBluesky

トランスフォーマーに依存しない新しいアーキテクチャを用いた説明可能な言語モデルを提案し、複数のデータセットでSOTA性能を達成した。

詳しい要約

1. どんなもの?

- Transformerベースの大規模言語モデル(LLM)の課題を克服する、説明可能な言語モデル「Gyan」を提案。 - 非Transformerアーキテクチャを採用し、言語モデルと知識獲得・表現を分離。 - 修辞構造理論、意味役割理論、知識ベース計算言語学を統合。 - 意味表現構造が完全な構成的文脈を捉え、人間のように「世界モデル」へ文脈を拡張。 - 3つの広く引用されるデータセットでSOTA性能、2つの独自データセットで優れた性能を達成。

2. 先行研究と比べてどこがすごい?

- 従来のTransformerベースLLMは、大規模事前学習でも完全な構成的文脈や人間類似の文脈を捉えられず、幻覚、保守困難、解釈性低、計算資源大という問題がある。 - Gyanはこれらの制限を全て克服し、説明可能で信頼性が高く、ミッションクリティカルなタスクに適する。 - 3つの広く引用されるデータセットでSOTAを達成し、2つの独自データセットでも優れた性能を示す。

3. 技術・手法の肝は?

- 非Transformerの新規アーキテクチャを採用。 - 言語モデルと知識獲得・表現を分離する設計。 - 修辞構造理論、意味役割理論、知識ベース計算言語学を基盤とする。 - 意味表現構造が完全な構成的文脈を捉え、人間のように「世界モデル」へ文脈を拡張する。

4. どうやって有効だと検証した?

- 3つの広く引用されるデータセットでSOTA性能を達成。 - 2つの独自データセットで優れた性能を達成。 - これにより、信頼性と透明性が求められるミッションクリティカルなタスクに適することを実証。

5. 議論はある?

- AIモデルの採用は信頼と透明性に大きく依存し、特にミッションクリティカルなユースケースで重要。 - 本研究結果は、信頼でき信頼性の高いモデルをミッションクリティカルなタスク向けに作成可能であることを示す。 - 透明で信頼される言語モデルアーキテクチャの開発を導く大きな可能性がある。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Transformerベースの事前学習済み大規模言語モデル、修辞構造理論、意味役割理論、知識ベース計算言語学が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Venkat Srinivasan, Vishaal Jatav, Anushka Chandrababu, Geetika Sharma

分類: cs.CL, cs.AI, cs.ET, cs.LG

原文アブストラクト

Transformer based pre-trained large language models have become ubiquitous. There is increasing evidence to suggest that even with large scale pre-training, these models do not capture complete compositional context and certainly not, the full human analogous context. Besides, by the very nature of the architecture, these models hallucinate, are difficult to maintain, are not easily interpretable and require enormous compute resources for training and inference. Here, we describe Gyan, an explainable language model based on a novel non-transformer architecture, without any of these limitations. Gyan achieves SOTA performance on 3 widely cited data sets and superior performance on two proprietary data sets. The novel architecture decouples the language model from knowledge acquisition and representation. The model draws on rhetorical structure theory, semantic role theory and knowledge-based computational linguistics. Gyan's meaning representation structure captures the complete compositional context and attempts to mimic humans by expanding the context to a 'world model'. AI model adoption critically depends on trust and transparency especially in mission critical use cases. Collectively, our results demonstrate that it is possible to create models which are trustable and reliable for mission critical tasks. We believe our work has tremendous potential for guiding the development of transparent and trusted architectures for language models.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI