日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ワールドモデルarXiv:2602.01576

生成的可視コードによるモバイルワールドモデル

Generative Visual Code Mobile World Models

シェア:XThreadsFacebookLINEはてブBluesky

単一のVLMが次のGUI状態を実行可能なWebコードとして予測し、それをレンダリングすることで高忠実度なモバイルGUIワールドモデルを実現した研究。

詳しい要約

1. どんなもの?

- モバイルGUIのWorld Models (WMs) を、次状態を実行可能なwebコードとして生成する新パラダイムで構築。 - 単一のVision-Language Model (VLM) がピクセルを直接生成するのではなく、レンダリング可能なコードを予測。 - これにより、テキストの正確なレンダリングと高忠実度の視覚生成を両立。 - 初のオープンウェイトな視覚モバイルGUI WMsであるgWorld (8B, 32B) を提案。 - コードベースの訓練データを自動合成するデータ生成フレームワークgWorldも導入。

2. 先行研究と比べてどこがすごい?

- 従来のテキストベースWMsは視覚的忠実度を犠牲にし、視覚WMsは正確なテキストレンダリングができず、遅く複雑な外部モデル依存のパイプラインを必要とした。 - 提案手法は、VLMの言語事前知識を活かして正確なテキストレンダリングを実現しつつ、構造化webコードの事前訓練により高忠実度の視覚生成を可能に。 - 4つのin-distributionと2つのout-of-distributionベンチマークで、精度対モデルサイズの新たなpareto frontierを設定。 - 50.25倍以上大きい8つのフロンティアオープンウェイトモデルを上回る性能を達成。

3. 技術・手法の肝は?

- 視覚世界モデリングをレンダラブルコード生成として定式化。 - 単一のVLMが次のGUI状態を実行可能なwebコードとして予測し、それがピクセルにレンダリングされる。 - VLMの言語事前知識と、構造化webコードに対する事前訓練を活用。 - データ生成フレームワークgWorldにより、コードベースの訓練データを自動合成。 - パイプラインの各コンポーネントがデータ品質を向上させる。

4. どうやって有効だと検証した?

- 4つのin-distributionと2つのout-of-distributionベンチマークで広範な評価を実施。 - 精度対モデルサイズのpareto frontierで新記録を達成し、50.25倍以上大きい8つのフロンティアオープンウェイトモデルを上回る。 - 追加分析で、(1) gWorldによる訓練データのスケーリングが有意な性能向上をもたらすこと、(2) パイプラインの各コンポーネントがデータ品質を改善すること、(3) より強力な世界モデリングが下流のモバイルGUIポリシー性能を向上させることを示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてテキストベースWMs、視覚WMs、Vision-Language Model (VLM)、モバイルGUIエージェント、World Models (WMs) が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Woosung Koh, Sungjun Han, Segyu Lee, Se-Young Yun, Jamin Shin

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Mobile Graphical User Interface (GUI) World Models (WMs) offer a promising path for improving mobile GUI agent performance at train- and inference-time. However, current approaches face a critical trade-off: text-based WMs sacrifice visual fidelity, while the inability of visual WMs in precise text rendering led to their reliance on slow, complex pipelines dependent on numerous external models. We propose a novel paradigm: visual world modeling via renderable code generation, where a single Vision-Language Model (VLM) predicts the next GUI state as executable web code that renders to pixels, rather than generating pixels directly. This combines the strengths of both approaches: VLMs retain their linguistic priors for precise text rendering while their pre-training on structured web code enables high-fidelity visual generation. We introduce gWorld (8B, 32B), the first open-weight visual mobile GUI WMs built on this paradigm, along with a data generation framework (gWorld) that automatically synthesizes code-based training data. In extensive evaluation across 4 in- and 2 out-of-distribution benchmarks, gWorld sets a new pareto frontier in accuracy versus model size, outperforming 8 frontier open-weight models over 50.25x larger. Further analyses show that (1) scaling training data via gWorld yields meaningful gains, (2) each component of our pipeline improves data quality, and (3) stronger world modeling improves downstream mobile GUI policy performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI