日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.27866

Iron: 意図整合と回顧的双方向学習による汎用仮想エージェントの性能向上フレームワーク

Iron: Intent-Aligned and Retrospective Dual Learning Framework for Enhancing Generalist Virtual Agents

シェア:XThreadsFacebookLINEはてブBluesky

GUIエージェントの訓練において、低レベル行動と高レベル意図の細粒度な整合を実現するステップワイズ循環整合報酬と、失敗軌跡を再利用する回顧的再現メカニズムを導入し、データ効率と性能を向上させた。

詳しい要約

1. どんなもの?

Ironは、GUIエージェントを訓練するためのフレームワークであり、Multimodal Large Language Models (MLLMs)を基盤とする汎用仮想エージェントの性能向上を目指す。データアノテーションのコスト削減、アクションと意図の不整合の解消、失敗軌道の非効率な利用という3つの課題に対処する。具体的には、stepwise cycle-consistent (SCC) rewardを用いたdual learning戦略と、hindsight reproduction mechanismを導入する。

2. 先行研究と比べてどこがすごい?

先行研究では、MLLMsのエージェント展開において、高コストなデータアノテーション、アクションと意図の不正確な対応、失敗軌道の破棄による非効率な探索が問題とされていた。Ironは、SCC rewardによる細粒度のアクション-意図アライメントと、失敗軌道を再利用するhindsight reproduction mechanismを導入することで、これらの課題を同時に解決し、データ効率とタスク多様性を向上させた点が優れている。

3. 技術・手法の肝は?

手法の核は2つ。(1) stepwise cycle-consistent (SCC) reward: 低レベルアクションと高レベル意図の間のサイクル一貫性を利用し、各ステップでアクションと意図の整合を評価することで、命令の接地と意図理解を改善する。(2) hindsight reproduction mechanism: 失敗した軌道を、目標を再解釈して成功例に変換し、訓練データとして再利用することで、学習効率とタスク多様性を高める。

4. どうやって有効だと検証した?

クロス環境・クロスデバイスのタスクで、Ironで訓練された汎用エージェントが一貫して性能を向上させることを示した。3倍のデータで訓練されたモデルを上回り、未見のWebタスクでは25.06%の相対改善を達成。さらに、本質的に複雑なタスクでも改善が見られた。

5. 議論はある?

要旨からは、Ironの限界や潜在的な欠点についての議論は不明。ただし、25.06%の改善は未見のWebタスクに限定されており、他の環境での汎化の程度や、SCC rewardの計算コスト、hindsight reproductionの適用範囲などについては言及がない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、GUIエージェントのためのMLLMベースの手法(例: WebGPT, Mind2Web)や、失敗軌道の再利用に関する手法(例: Hindsight Experience Replay)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiahe Ying, Wendong Bu, Kaihang Pan, Bingchen Miao, Siyu Chen, Wen Wang, Xueming Jiang, Juncheng Li, Siliang Tang

分類: cs.CV

原文アブストラクト

Achieving virtual agents capable of automating tasks across diverse digital environments remains a pivotal challenge in Embodied AI. While Multimodal Large Language Models (MLLMs) offer enhanced visual perception and reasoning, their agentic deployment faces three challenges: costly data annotation, imprecise action-intent alignment, and inefficient exploration from discarded failed trajectories. To address these, we introduce Iron, an intent-aligned, self-improved, and annotation-efficient framework for training GUI agents. Iron employs a novel dual learning strategy that utilizes a stepwise cycle-consistent (SCC) reward to achieve fine-grained alignment between low-level actions and high-level intents, thereby improving instruction grounding and intent understanding. Concurrently, Iron introduces a hindsight reproduction mechanism to repurpose failed trajectories for training, improving both learning efficiency and task diversity. Extensive experiments demonstrate that Iron-trained generalist agents consistently improve performance on cross-environment and cross-device tasks, outperforming models trained with three times more data. Iron also achieves a substantial 25.06% relative improvement on unseen web tasks, with further gains observed on inherently complex tasks, demonstrating the feasibility of building more capable virtual agents.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI