日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

推論/CoTarXiv:2611.13552

事後学習が言語モデルの言語化されたアルゴリズム計算に与える影響

How Post-Training Influences Verbalized Algorithmic Computation in Language Models

シェア:XThreadsFacebookLINEはてブBluesky

Olmo-3-7B-Instructの多桁加算タスクでSFT・DPO・RLVRの各チェックポイントを比較し、事後学習が内部状態の利用や言語化された推論(CoT)の有用性をどう変えるかを調べた論文。

詳しい要約

1. どんなもの?

- 対象は言語モデルの post-training が内部情報利用と verbalized chain of thought (CoT) に与える影響の分析。 - Olmo-3-7B-Instruct の SFT・DPO・RLVR の各 checkpoint を multi-digit addition で比較。 - carry 値を既知の中間状態として用い、内部 activation と CoT の寄与を切り分けて調べる。

2. 先行研究と比べてどこがすごい?

- post-training が reasoning を改善すること自体は知られていたが、内部情報の利用と書かれた推論の有用性を分けて調べた点が新しい。 - 同一モデル系列の SFT・DPO・RLVR checkpoint を横断比較し、post-training 段階ごとの差を捉える。 - carry という既知の中間状態を手がかりに、内部表現と CoT の両面から検証している。

3. 技術・手法の肝は?

- multi-digit addition を課題とし、carry 値を内部状態の既知の指標として利用。 - probe により activation から carry 情報を復元し、SFT と RLVR で精度を比較。 - carry 情報の操作が出力制御に与える影響、および CoT の受け手 checkpoint での精度への寄与を評価。 - carry 関連文の importance score を matched random controls と比較。

4. どうやって有効だと検証した?

- probe による carry 情報の復元精度を SFT と RLVR で比較。 - carry 情報の操作がモデル出力を制御できるかを検証。 - RLVR・SFT・DPO が生成した CoT を複数の受け手 checkpoint に与え、精度で比較。 - carry 関連文と matched random controls の importance score を比較して感度を評価。

5. 議論はある?

- SFT と RLVR で probe 精度は同程度だが、carry 情報の操作は出力を安定して制御できず、内部情報と出力の結びつきは単純でない。 - RLVR の CoT は受け手 checkpoint でより高い精度をもたらし、書かれた推論の有用性が post-training で変化する。 - RLVR 後は carry 関連文への importance score が高いが、DPO も同様の感度を示す一方で精度向上は伴わず、感度の高さが性能向上と一致するとは限らない。

6. 次に読むべき論文は?

- 要旨で直接参照・比較されているのは Olmo-3-7B-Instruct の SFT・DPO・RLVR checkpoint と multi-digit addition 課題。 - 関連手法として chain of thought (CoT)、probe、importance score を用いた分析が挙げられる。 - 個別の先行論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Niall Dalton

分類: cs.CL, cs.LG

原文アブストラクト

Post-training improves language-model reasoning, but how it changes the use of internal information and verbalized chain of thought (CoT) remains unclear. We study successive SFT, DPO, and RLVR checkpoints of Olmo-3-7B-Instruct on multi-digit addition, using carry values as known intermediate state. Probes recover carry information from internal activations with similar accuracy in SFT and RLVR, although manipulating this information does not reliably control model outputs. In contrast, the usefulness of verbalized reasoning differs: CoTs produced by RLVR yield higher accuracy across receiving checkpoints than those produced by SFT or DPO. We also show that carry-related statements receive higher importance scores after RLVR than matched random controls. DPO shows similar sensitivity to carry-related statements but without comparable accuracy gains. These results suggest that post-training changes the usefulness of written reasoning and sensitivity to its content in meaningful ways, although greater sensitivity does not necessarily coincide with better problem performance.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI