日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

推論arXiv:2605.14036

大規模学習モデルにおける強化された効率的推論

Enhanced and Efficient Reasoning in Large Learning Models

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルの推論を効率的に改善するため、データをUnary Relational Integracodeに再コード化する前処理と、その後の機械学習を組み合わせた手法を提案する。

詳しい要約

1. どんなもの?

- 大規模言語モデル(LLM)の推論を強化するための効率的な手法を提案。 - テキストの内容に対する信頼性を高めるため、原理的な推論を追加する。 - 第一段階でデータを Unary Relational Integracode に再符号化し、関係を明示化。 - 第二段階で標準的な機械学習プロセスにより関係を予測。 - 世界モデルを実現し、自然言語だけでなく視覚や行動にも適用可能。

2. 先行研究と比べてどこがすごい?

- 従来、原理的な推論を追加すると計算コストが高く非現実的とされてきた。 - 提案手法は大規模言語モデルに実用的なほど効率的で、既存のソフトウェア・ハードウェア基盤を多く保持可能。 - 再符号化により、関係規則の学習が多項式時間で可能になるという驚くべき特性を持つ。 - 単一の分類器呼び出し内および複数呼び出し間での健全な推論を支援。

3. 技術・手法の肝は?

- 第一段階:データを Unary Relational Integracode に再符号化し、テキスト中のオブジェクト間の関係を明示化。 - 第二段階:標準的(場合により簡素化された)機械学習プロセスで、これらの関係を予測するように学習。 - 入力中のオブジェクトの複数プロパティを分散させずに明示的に統合。 - Robust Logic に基づき、学習された不確実な情報上で原理的な連鎖推論を実行。 - 再符号化は簡潔でありながら、関係規則の核心部分を多項式時間で学習可能にする。

4. どうやって有効だと検証した?

- 再符号化が、訓練データに存在する関係規則の核心部分を多項式時間で学習可能にすることを示した。 - 多項式の次数は規則の複雑さに依存する。 - これにより、学習された分類器の単一呼び出し内および複数呼び出し間での健全な推論が支持される。 - 具体的な実験やデータセットに関する記述は要旨からは不明。

5. 議論はある?

- 提案手法は原理的な推論を効率的に実現し、既存基盤を活用できる点で実用的。 - 再符号化の特性が学習可能性を保証するという理論的利点がある。 - 自然言語以外の視覚や行動への適用可能性も示唆。 - ただし、具体的な限界や課題、実験結果の詳細については要旨からは不明。

6. 次に読むべき論文は?

- Robust Logic に関する文献(要旨で言及)。 - Unary Relational Integracode の詳細(要旨で提案)。 - 大規模言語モデルにおける推論手法(一般的な関連分野)。 - 世界モデルや視覚・行動への応用に関する研究(要旨で示唆)。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Leslie G. Valiant

分類: cs.AI, cs.CC, cs.CL, cs.LG

原文アブストラクト

In current Large Language Models we can trust the production of smoothly flowing prose on the basis of the principles of machine learning. However, there is no comparably principled basis to justify trust in the content of the text produced. It appears to be conventional wisdom that addressing this issue by adding more principled reasoning is not computationally affordable. Here we propose a principled method of reasoning that is efficient enough to be practical for large language models. Further, the method allows the retention of much of the currently used software and hardware base. Our method for improving the functioning of large language models consists of a first stage of preprocessing that recodes the data to a Unary Relational Integracode that is more explicit about the relationships among the objects described in the text, followed as a second stage by a standard but possibly streamlined machine learning process that then also learns to predict these relationships. The method may be viewed as realizing a world model and applying beyond natural language, to vision and actions, for example, where the multiple properties of an object referred to in an input are brought together explicitly, rather than remaining distributed in the various references to it in the input. We articulate its advantages in terms of Robust Logic, a system for performing principled chaining on learned, and hence uncertain, information. We show that this recoding has the surprising and fortuitous property that, while succinct, it makes the task of learning a core subset of relational rules that hold in the world described in the training data polynomial time learnable in a defined sense, the polynomial depending on the complexity of the rule. This gives support for sound reasoning within each single call of the learned classifier as well as between multiple calls.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI