日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.39382

SkillFM: 潜在フローマッチングによるLLMエージェント向けスキル生成

SkillFM: Generating Skills for LLM Agents via Latent Flow Matching

シェア:XThreadsFacebookLINEはてブBluesky

テキストスキルを連続潜在空間で符号化し、条件付きフローモデルでタスクに応じたスキルを直接生成する手法を提案。ALFWorldやSearch-QAなどで検索ベース手法を上回る性能を示した。

詳しい要約

1. どんなもの?

LLMエージェント向けに、タスク条件付きのテキストスキルを生成するフレームワークSkillFM(Skill Flow Matching)を提案する研究。 - テキストスキルは再利用可能なガイダンスとして有用だが、既存手法は手作業のスキルバンクや間接的・遅延フィードバックの強化学習に依存。 - SkillFMはテスト時のスキル検索を行わず、直接スキルを合成する生成的枠組み。 - 連続潜在空間でテキストスキルを符号化・再構成するcodecと、改良MeanFlowで学習した条件付きflow modelを組み合わせる。 - 推論時は学習済みvelocity fieldで単一ステップの潜在サンプリングを行い、LLMベースdecoderがサンプルをテキストガイダンスに変換し、凍結した下流エージェントに与える。 - 評価はembodied tasks、question answering、web shoppingで実施。

2. 先行研究と比べてどこがすごい?

既存のスキル利用手法との比較で以下の点が異なる。 - 手作業でキュレーションされたスキルバンクに依存しない。 - 間接的・遅延フィードバックの強化学習に依存しない。 - テスト時のスキル検索(retrieval)を必要とせず、タスク条件付きで直接生成する。 - 比較対象のvector-based skill approachesに対し、ALFWorldとSearch-QAで総合性能が最良。 - 潜在スキル生成がretrieval-based skill augmentationの有効な代替となることを分析で示す。

3. 技術・手法の肝は?

技術の肝は以下の構成。 - codec:テキストスキルを連続潜在空間で符号化・再構成する。 - conditional flow model:改良MeanFlowを用いて学習。 - 推論時:学習されたvelocity fieldにより単一ステップで潜在サンプリング。 - LLM-based decoder:サンプルされた表現をテキストガイダンスへ変換。 - 凍結した下流エージェントに対して、そのテキストガイダンスを提供。 - タスク条件付きでスキルを合成し、テスト時検索を不要とする。

4. どうやって有効だと検証した?

以下のタスクで評価。 - embodied tasks(ALFWorld)。 - question answering(Search-QA)。 - web shopping。 - ALFWorldとSearch-QAにおいて、比較したvector-based skill approachesの中で総合性能が最良。 - 分析により、潜在スキル生成がretrieval-based skill augmentationの有効な代替であることを示す。 - コードと学習済みスキルライブラリを公開。

5. 議論はある?

要旨からは不明。 - 限界や失敗事例、計算コスト、スキル品質のばらつき、他タスクへの一般化可能性についての議論は要旨に記載がない。 - 比較対象の詳細や統計的有意性についても要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究や関連手法。 - vector-based skill approaches(比較対象として言及)。 - retrieval-based skill augmentation(代替対象として言及)。 - MeanFlow(改良して使用)。 - flow matching。 - ALFWorld、Search-QA、web shopping(評価タスク)。 - 関連する基盤として、LLM agents、textual skills、skill banks、reinforcement learning with delayed feedback。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zuming Zhang, Jie He, Yizhe Zhang, Jeff Z. Pan

分類: cs.AI

原文アブストラクト

Textual skills provide reusable guidance for large language model agents, but existing approaches often rely on manually curated skill banks or reinforcement learning with indirect and delayed feedback. We introduce SkillFM (Skill Flow Matching), a generative framework that synthesizes task-conditioned textual skills directly without test-time skill retrieval. Our framework combines a codec for encoding and reconstructing textual skills in a continuous latent space with a conditional flow model trained using improved MeanFlow. At inference time, the learned velocity field enables single-step latent sampling, and an LLM-based decoder converts the sampled representation into textual guidance for a frozen downstream agent. We evaluate the framework on embodied tasks, question answering, and web shopping. On ALFWorld and Search-QA, our method achieves the best overall performance among the compared vector-based skill approaches. Our analyses further demonstrate that latent skill generation is an effective alternative to retrieval-based skill augmentation. Our code and training skill libraries are available at https://github.com/lulushang999/SkillFM.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI