日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

エージェント/蒸留/オンデバイスarXiv:2606.29961

DuoMem: 二重空間蒸留による高性能オンデバイスメモリエージェントの実現

DuoMem: Towards Capable On-Device Memory Agents via Dual-Space Distillation

シェア:XThreadsFacebookLINEはてブBluesky

大規模教師モデルの手続き的推論能力を、文脈空間とパラメータ空間の二重蒸留で小型モデルに転移し、リソース制約のあるデバイス上で高性能なメモリエージェントを実現した。

詳しい要約

1. どんなもの?

- LLMベースのエージェントは複数ターンの環境相互作用で複雑な手続き的タスクを解けるが、大規模モデル・長文脈・反復推論が必要で、リソース制約デバイスへの展開が困難。 - 本論文はDuoMemを提案:大規模教師モデルからコンパクトな生徒モデルへ手続き的問題解決能力を転移するdual-space distillationフレームワーク。 - 2つの空間で蒸留:(1) context-space distillation:生徒生成の記憶を高品質な教師生成の手続き的記憶に置き換え、生徒入力の先頭に付加。(2) parameter-space distillation:成功した教師軌跡で軽量LoRAアダプタを微調整。 - ALFWorldベンチマークで評価:4Bモデルを4.3%から77.9%のタスク成功率に向上、72B教師(87.1%)とのギャップをほぼ埋める。 - 追加の学習可能パラメータは10M未満、事前計算教師記憶は数MBのみ。 - DuoMem強化4Bモデルは72B教師よりwall-clock時間で3倍以上高速にタスク完了、リアルタイムエッジ展開が可能。 - 2B-72Bの8モデルでの…

2. 先行研究と比べてどこがすごい?

- 従来のLLMエージェントは大規模モデル・長文脈・反復推論に依存し、リソース制約デバイスへの展開が難しかった。 - DuoMemはdual-space distillationにより、コンパクトな生徒モデル(4B)で72B教師に迫る性能(77.9% vs 87.1%)を実現。 - 追加パラメータ10M未満、事前計算教師記憶数MBのみで、教師より3倍以上高速。 - これにより、高度な記憶拡張エージェントをエッジデバイスでリアルタイム展開可能にした点がすごい。 - 従来の蒸留手法と比べ、context-spaceとparameter-spaceの両方を組み合わせ、相補的效果を確認。

3. 技術・手法の肝は?

- DuoMemはdual-space distillationフレームワーク。 - context-space distillation:生徒が生成した記憶を教師が生成した高品質な手続き的記憶に置き換え、生徒の入力の先頭に付加。 - parameter-space distillation:成功した教師の軌跡を用いて軽量LoRAアダプタを微調整。 - これにより、生徒モデルは教師の手続き的知識を効果的に獲得。 - 追加の学習可能パラメータは10M未満、事前計算教師記憶は数MBのみ。 - 2つの蒸留軸が相補的に機能。

4. どうやって有効だと検証した?

- ALFWorldベンチマークで評価。 - 4Bパラメータモデルを4.3%から77.9%のタスク成功率に向上。 - 72B教師モデルの87.1%に迫る性能。 - 追加学習可能パラメータ10M未満、事前計算教師記憶数MBのみ。 - DuoMem強化4Bモデルは72B教師よりwall-clock時間で3倍以上高速。 - 2B-72Bの8モデルでの広範なアブレーションを実施し、両蒸留軸の相補的寄与を確認。

5. 議論はある?

- 要旨からは、限界や議論についての明示的な記述はない。 - 両蒸留軸が相補的に寄与することがアブレーションで示されている。 - リアルタイムエッジ展開の可能性が強調されている。 - 教師モデルとの性能ギャップ(77.9% vs 87.1%)は残る。 - 詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:ALFWorldベンチマーク、LoRA、dual-space distillation。 - 関連手法:knowledge distillation、memory-augmented agents、parameter-efficient fine-tuning。 - 同分野の定番:ALFWorld、LoRA、knowledge distillation。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peyman Hosseini, Ondrej Bohdal, Ahmed Alajrami, Andrea Maracani, Ignacio Castro, Matthew Purver, Mete Ozay, Savas Ozkan, Taha Ceritli

分類: cs.LG, cs.AI

原文アブストラクト

Large Language Model (LLM)-based agents can solve complex procedural tasks by interacting with environments over multiple turns, but this ability typically depends on large models, long contexts, and repeated inference calls. This makes advanced memory-augmented agents difficult to deploy on resource-constrained devices. We introduce DuoMem, a dual-space distillation framework that transfers procedural problem-solving ability from a large teacher model to compact student models. DuoMem distils in two complementary spaces: (1)context-space distillation, which replaces student-generated memories with higher-quality teacher-generated procedural memories prepended to the student's input, and (2)parameter-space distillation, which fine-tunes lightweight LoRA adapters on successful teacher trajectories. Evaluated on ALFWorld, a challenging embodied decision-making benchmark, DuoMem boosts a 4B-parameter model from 4.3% to 77.9% task success rate, closing most of the gap to a 72B teacher model (87.1%), while adding fewer than 10M trainable parameters and only a few megabytes of pre-computed teacher memories. Moreover, the DuoMem-enhanced 4B model completes tasks over 3x faster than the 72B teacher in wall-clock time, making it viable for real-time edge deployment, which would be challenging for the teacher.Extensive ablations across eight models spanning 2B-72B parameters reveal that both distillation axes contribute complementary

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI