日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

事前学習/ファインチューニングarXiv:2603.16177

ファインチューナーの誤謬:ファインチューニングデータで事前学習すべき時

The Finetuner's Fallacy: When to Pretrain with Your Finetuning Data

シェア:XThreadsFacebookLINEはてブBluesky

限られたドメインデータを事前学習から繰り返し混ぜる「専門事前学習(SPT)」が、ファインチューニング後の性能と汎化を改善し、必要な事前学習トークンを最大1.75倍削減することを示した論文。

詳しい要約

1. どんなもの?

- 実世界のモデル展開では、データが乏しい狭いドメインでの高性能が求められる。 - 通常は finetuning で特化するが、ドメインへの過学習や一般知識の忘却のリスクがある。 - 本研究は specialized pretraining (SPT) という単純な戦略を検討する。 - SPT では、通常 finetuning 用に取っておく小規模ドメインデータセットを、pretraining の初期から全トークンの一部として繰り返し使う。 - 3つの特化ドメイン (ChemPile, MusicPile, ProofPile) で、SPT はドメイン性能を向上させ、finetuning 後も一般能力を保持する。

2. 先行研究と比べてどこがすごい?

- 標準的な pretraining と比較して、SPT は同じドメイン性能に到達するのに必要な pretraining トークンを最大 1.75 倍削減する。 - 目標ドメインが pretraining コーパスで過小表現されている場合、利得はさらに大きくなる。 - web text から遠いドメインでは、1B の SPT モデルが 3B の標準 pretrained モデルを上回る。 - finetuning がドメイン適応への最も安価な道に見える一方、pretraining 中にドメインデータを導入することでその有用性が拡張される。 - SPT は、繰り返し曝露による過学習の低減と、finetuning 中の忘却の低減により、より良い特化ドメイン性能と一般ドメイン性能を達成する。

3. 技術・手法の肝は?

- 小規模ドメインデータセットを pretraining の初期から全トークンの一部として繰り返し使用する specialized pretraining (SPT)。 - ドメインデータの繰り返し回数を最適化するための過学習スケーリング則を導出。 - 与えられた pretraining 計算予算に対して最適なドメインデータ繰り返しを選択する指針を提供。 - ドメインデータを訓練のできるだけ早い段階で組み込むことが重要。

4. どうやって有効だと検証した?

- 3つの特化ドメイン (ChemPile, MusicPile, ProofPile) で実験。 - SPT がドメイン性能を向上させ、finetuning 後の一般能力を保持することを確認。 - pretraining トークン削減効果 (最大 1.75 倍) を測定。 - 1B SPT モデルが 3B 標準 pretrained モデルを上回ることを示す。 - 過学習スケーリング則を導出し、最適な繰り返し回数を選択する指針を提供。

5. 議論はある?

- finetuner's fallacy: finetuning はドメイン適応への最も安価な道に見えるが、pretraining 中にドメインデータを導入することでその有用性が拡張される。 - SPT は、繰り返し曝露による過学習の低減と、finetuning 中の忘却の低減により、より良い特化ドメイン性能と一般ドメイン性能を達成。 - 推論時に償却すると、より少ないパラメータと総計算量で強い結果が得られる。 - ドメインデータを最大限活用するには、訓練のできるだけ早い段階で組み込むべき。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: 標準的な pretraining、finetuning。 - 関連手法: specialized pretraining (SPT)。 - 同分野の定番: domain adaptation, overfitting scaling laws。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Christina Baek, Ricardo Pio Monti, David Schwab, Amro Abbas, Rishabh Adiga, Cody Blakeney, Maximilian Böther, Paul Burstein, Aldo Gael Carranza, Alvin Deng, Parth Doshi, Vineeth Dorna, Alex Fang, Tony Jiang, Siddharth Joshi, Brett W. Larsen, Jason Chan Lee, Katherine L. Mentzer, Luke Merrick, Haakon Mongstad, Fan Pan, Anshuman Suri, Darren Teh, Jason Telanoff, Jack Urbanek, Zhengping Wang, Josh Wills, Haoli Yin, Aditi Raghunathan, J. Zico Kolter, Bogdan Gaza, Ari Morcos, Matthew Leavitt, Pratyush Maini

分類: cs.LG

原文アブストラクト

Real-world model deployments demand strong performance on narrow domains where data is often scarce. Typically, practitioners finetune models to specialize them, but this risks overfitting to the domain and forgetting general knowledge. We study a simple strategy, specialized pretraining (SPT), where a small domain dataset, typically reserved for finetuning, is repeated starting from pretraining as a fraction of the total tokens. Across three specialized domains (ChemPile, MusicPile, and ProofPile), SPT improves domain performance and preserves general capabilities after finetuning compared to standard pretraining. In our experiments, SPT reduces the pretraining tokens needed to reach a given domain performance by up to 1.75x. These gains grow when the target domain is underrepresented in the pretraining corpus: on domains far from web text, a 1B SPT model outperforms a 3B standard pretrained model. Beyond these empirical gains, we derive overfitting scaling laws to guide practitioners in selecting the optimal domain-data repetition for a given pretraining compute budget. Our observations reveal the finetuner's fallacy: while finetuning may appear to be the cheapest path to domain adaptation, introducing specialized domain data during pretraining stretches its utility. SPT yields better specialized domain performance (via reduced overfitting across repeated exposures) and better general domain performance (via reduced forgetting during finetuning), ultimately achieving stronger results with fewer parameters and less total compute when amortized over inference. To get the most out of domain data, incorporate it as early in training as possible.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI