日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

強化学習arXiv:2604.05112

Vintix II: 事前学習済み決定トランスフォーマーはスケーラブルな文脈内強化学習器である

Vintix II: Decision Pre-Trained Transformer is a Scalable In-Context Reinforcement Learner

シェア:XThreadsFacebookLINEはてブBluesky

文脈内強化学習のスケーラビリティを確立するため、多様なマルチドメイン環境にDecision Pre-Trained Transformerを拡張し、Flow Matchingを用いて訓練した。その結果、未見タスクへの汎化性能が向上し、既存手法を上回る性能を示した。

詳しい要約

1. どんなもの?

- 本論文は、Decision Pre-Trained Transformer (DPT) を多様なマルチドメイン環境に拡張し、Flow Matching を訓練に適用した Vintix II を提案する。 - 数百の多様なタスクで訓練されたエージェントが、未見のテストセットへの汎化性能を向上させる。 - オンラインおよびオフライン推論の両方で性能が向上し、In-Context Reinforcement Learning (ICRL) が専門家蒸留の代替として有効であることを示す。

2. 先行研究と比べてどこがすごい?

- 先行の Algorithm Distillation (AD) は ICRL の先駆けだが、未見タスクへの汎化能力が限定的だった。 - DPT は簡略化ドメインで強い ICRL 能力を示したが、スケーラビリティは未確立だった。 - 本研究は DPT を多様なマルチドメイン環境に拡張し、AD のスケーリングを上回る汎化性能を達成した点がすごい。

3. 技術・手法の肝は?

- DPT を多様なマルチドメイン環境に適用。 - 訓練に Flow Matching を採用し、ベイズ事後サンプリングとしての解釈を保持。 - これにより数百の多様なタスクで訓練されたエージェントを実現。

4. どうやって有効だと検証した?

- 数百の多様なタスクで訓練し、未見のテストセットへの汎化性能を評価。 - オンラインおよびオフライン推論の両方で性能を検証。 - 先行の AD スケーリングと比較し、性能向上を確認。

5. 議論はある?

- ICRL が専門家蒸留の代替として実用的である可能性を強化。 - 具体的な限界や課題については要旨からは不明。

6. 次に読むべき論文は?

- Algorithm Distillation (AD) - Decision Pre-Trained Transformer (DPT) - Flow Matching

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Andrei Polubarov, Lyubaykin Nikita, Alexander Derevyagin, Artyom Grishin, Igor Saprygin, Aleksandr Serkov, Mark Averchenko, Daniil Tikhonov, Maksim Zhdanov, Alexander Nikulin, Ilya Zisman, Albina Klepach, Alexey Zemtsov, Vladislav Kurenkov

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Recent progress in in-context reinforcement learning (ICRL) has demonstrated its potential for training generalist agents that can acquire new tasks directly at inference. Algorithm Distillation (AD) pioneered this paradigm and was subsequently scaled to multi-domain settings, although its ability to generalize to unseen tasks remained limited. The Decision Pre-Trained Transformer (DPT) was introduced as an alternative, showing stronger in-context reinforcement learning abilities in simplified domains, but its scalability had not been established. In this work, we extend DPT to diverse multi-domain environments, applying Flow Matching as a natural training choice that preserves its interpretation as Bayesian posterior sampling. As a result, we obtain an agent trained across hundreds of diverse tasks that achieves clear gains in generalization to the held-out test set. This agent improves upon prior AD scaling and demonstrates stronger performance in both online and offline inference, reinforcing ICRL as a viable alternative to expert distillation for training generalist agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI