日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2611.13819

ゲーム操作データと予測事前学習による具現化AIの強化

Game-Enhanced Embodied Learning with Event and Foresight Pretraining

シェア:XThreadsFacebookLINEはてブBluesky

ゲームのキーボード・マウス操作と映像を大規模に事前学習させ、ロボットポリシーの初期化に活用。LIBEROベンチマークで成功率が85.9%から90.6%へ向上した。

詳しい要約

1. どんなもの?

- ゲームプレイデータを用いた事前学習の研究 - 対象モデルは InternVLA-A1.5 - recorded keyboard/mouse event prediction と、frozen video model による history-conditioned visual supervision を組み合わせた event-and-foresight pretraining - ゲーム由来の観察・行動・視覚的結果を robot-policy 学習の補助に使う - 評価は LIBERO の4スイートで、ゲーム事前学習後の初期化と公開 base を同一の robot fine-tuning protocol で比較

2. 先行研究と比べてどこがすごい?

- 公開 base の初期化と比較し、LIBERO 4スイート合計の成功率が 1,718/2,000 (85.90%) から 1,811/2,000 (90.55%) へ改善 - 4.65 percentage points の向上 - スイート別改善は Spatial 9.2、Object 6.8、Goal 0.2、Long 2.4 points - 40タスクでは 24 改善、10 悪化、6 引き分け - ただし比較には追加の最適化が含まれ、game data・2つの目的・training variability の効果を分離していないと明記

3. 技術・手法の肝は?

- InternVLA-A1.5 に対する event-and-foresight pretraining - recorded keyboard/mouse event prediction - frozen video model を用いた history-conditioned visual supervision - coverage-preserving anchor selection により one-second targets を構築 - attention mask により teacher-forced future actions が foresight queries に入るのを防止 - コーパスは 20 games、394 recordings、223.36 hours の timestamp span、2,072,084 training anchors - 12,400 game-pretraining updates を実施

4. どうやって有効だと検証した?

- ゲーム事前学習後の初期化と公開 base を、同一の suite-specific robot fine-tuning protocol で比較 - LIBERO の4スイートで集計成功率を比較 - 1,718/2,000 (85.90%) から 1,811/2,000 (90.55%) へ - スイート別および40タスク別の内訳を報告 - 24 改善、10 悪化、6 引き分け - 結果は完全な game-pretraining stage の実用的価値を支持すると結論

5. 議論はある?

- タスクごとの結果が異質であることを明示 - 改善24、悪化10、引き分け6 - 比較には追加の最適化が含まれ、game data、2つの目的、training variability の効果を分離できないと限界を述べる - 評価設定における完全な game-pretraining stage の実用的価値は支持されるが、要因分解は未解決 - その他の議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている公開 base の InternVLA-A1.5 - 同一手法内の構成要素である event prediction と foresight pretraining(frozen video model による history-conditioned visual supervision) - 評価に用いられた LIBERO ベンチマーク - 関連する robot-policy 学習や video model を用いた visual supervision の研究は要旨に明示なし

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lianlei Shan, Han Jin, Yaunchao Ma, Xinpeng Chen, Linhao Zhou, Xin Bin

分類: cs.RO

原文アブストラクト

Human gameplay supplies paired observations, actions, and visual consequences that can supplement robot-policy training. We study event-and-foresight pretraining for InternVLA-A1.5, combining recorded keyboard/mouse event prediction with history-conditioned visual supervision through a frozen video model. Coverage-preserving anchor selection constructs one-second targets, and an attention mask prevents teacher-forced future actions from entering foresight queries. The selected corpus contains 394 recordings across 20 games, with 223.36 hours of recorded timestamp span and 2,072,084 training anchors. After 12,400 game-pretraining updates, we compare the resulting initialization with the public base under the same suite-specific robot fine-tuning protocol. Across four LIBERO suites, aggregate success increases from 1,718/2,000 (85.90%) to 1,811/2,000 (90.55%), a gain of 4.65 percentage points. Suite gains are 9.2, 6.8, 0.2, and 2.4 points on Spatial, Object, Goal, and Long. The 40-task breakdown shows 24 improvements, 10 declines, and six ties. These results support the practical value of the complete game-pretraining stage in this evaluated setting, while revealing heterogeneous task outcomes. The comparison includes additional optimization and does not isolate the effects of game data, the two objectives, or training variability.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI