日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.02046

NaviMaster: GUIナビゲーションと身体性ナビゲーションを統合する統一ポリシーの学習

NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks

シェア:XThreadsFacebookLINEはてブBluesky

GUI操作と身体性ナビゲーションを同一のMDPとして捉え、視覚的軌跡収集と強化学習で単一のエージェントを訓練し、両タスクで高性能を達成した。

詳しい要約

1. どんなもの?

- GUI navigation と embodied navigation を単一フレームワークで扱う初の統合 agent「NaviMaster」を提案 - 両タスクを Markov Decision Processes (MDP) として定式化できる点に着目 - GUI と embodied の両方の trajectory を生成する visual-target trajectory collection pipeline を備える - 混合データ上で unified reinforcement learning を行い汎化を狙う - distance-aware reward を設計し効率的学習を図る

2. 先行研究と比べてどこがすごい?

- 従来 GUI navigation と embodied navigation は別々の dataset・学習 paradigm で孤立して発展 - 両者を単一 agent・単一 framework で統合する点が新規 - 単一の定式化で両タスクの trajectory を生成する pipeline を提案 - out-of-domain benchmark で GUI navigation、spatial affordance prediction、embodied navigation の SOTA agent を上回ると報告 - 統合学習・data mixing・reward 設計の有効性を ablation で示す

3. 技術・手法の肝は?

- 両タスクを MDP として統一的に扱う定式化が基盤 - visual-target trajectory collection pipeline により GUI/embodied 双方の trajectory を単一定式化で生成 - 混合データに対する unified reinforcement learning framework を採用 - 学習効率のため distance-aware reward を新規設計 - 詳細な network 構成や algorithm は要旨からは不明

4. どうやって有効だと検証した?

- out-of-domain benchmark 上で GUI navigation、spatial affordance prediction、embodied navigation を評価 - 各タスクで state-of-the-art agent を上回る性能を報告 - ablation studies で unified training strategy、data mixing strategy、reward design の有効性を検証 - 具体的な benchmark 名・指標・数値は要旨からは不明

5. 議論はある?

- 統合学習・data mixing・reward 設計の寄与を ablation で議論 - GUI と embodied の統合が汎化に寄与する可能性を示唆 - 限界や失敗事例、計算コスト、dataset 依存性などの詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究名は明示されていない - 関連手法として GUI navigation の代表的 agent、embodied navigation の代表的手法、spatial affordance prediction 研究を挙げる - 基盤概念として Markov Decision Processes (MDP) と reinforcement learning の一般文献 - 具体的な次読論文は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhihao Luo, Wentao Yan, Jingyu Gong, Min Wang, Zhizhong Zhang, Xuhong Wang, Yuan Xie, Xin Tan

分類: cs.RO, cs.LG

原文アブストラクト

Recent advances in Graphical User Interface (GUI) and embodied navigation have driven progress, yet these domains have largely evolved in isolation, with disparate datasets and training paradigms. In this paper, we observe that both tasks can be formulated as Markov Decision Processes (MDP), suggesting a foundational principle for their unification. Hence, we present NaviMaster, the first unified agent capable of unifying GUI navigation and embodied navigation within a single framework. Specifically, NaviMaster (i) proposes a visual-target trajectory collection pipeline that generates trajectories for both GUI and embodied tasks using a single formulation. (ii) employs a unified reinforcement learning framework on the mix data to improve generalization. (iii) designs a novel distance-aware reward to ensure efficient learning from the trajectories. Through extensive experiments on out-of-domain benchmarks, NaviMaster is shown to outperform state-of-the-art agents in GUI navigation, spatial affordance prediction, and embodied navigation. Ablation studies further demonstrate the efficacy of our unified training strategy, data mixing strategy, and reward design. Our codes, data, and checkpoints are available at https://iron-boyy.github.io/navimaster-page/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI