日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.12160

Premover: 指示が完了する前から行動を開始する高速ビジョン・言語・行動制御

Premover: Fast Vision-Language-Action Control by Acting Before Instructions Are Complete

シェア:XThreadsFacebookLINEはてブBluesky

ユーザーが指示を入力している待ち時間を利用して事前計算を行う軽量モジュールをVLAポリシーに追加し、成功率を保ちながら応答時間を短縮する手法を提案した。

詳しい要約

1. どんなもの?

- ユーザーが指示を入力し終える前にロボットが行動を開始できるようにする軽量モジュール「Premover」を提案。 - VLAポリシーのアイドル時間を有効活用し、事前計算を行う。 - 実世界展開でのユーザー入力の遅延を考慮した新しい評価設定を導入。

2. 先行研究と比べてどこがすごい?

- 従来のVLAポリシーはユーザーが指示を完了するまで待機するのが一般的。 - Premoverは待機時間を事前計算に変換し、平均実行時間を13.6%削減(34.0秒→29.4秒)。 - 成功率を維持(95.1% vs. 95.0%)しつつ、単純な早期行動(naive premoving)の成功率66.4%を大幅に上回る。

3. 技術・手法の肝は?

- VLAバックボーンを凍結し、画像パッチ用と言語トークン用の2つの小さな投影ヘッドを追加。 - 中間層の特徴を共有空間にマッピングし、フォーカスマップを生成。 - フォーカスマップはシミュレータでレンダリングされた対象物体のセグメンテーションマスクで教師あり学習。 - 次のステップの画像トークンに対してパッチごとの再重み付けを適用。 - ストリーミングプレフィックスから共同で訓練された単一のスカラー準備閾値が行動開始を決定。

4. どうやって有効だと検証した?

- LIBEROベンチマークスイートで評価。 - 平均実時間を34.0秒から29.4秒に短縮(13.6%削減)。 - 完全なプロンプトを与えたベースラインの成功率95.0%に対し、Premoverは95.1%を達成。 - 単純な早期行動(naive premoving)は成功率66.4%に低下することを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- LIBEROベンチマークスイートに関連する研究。 - VLAポリシーの効率化に関する研究。 - ストリーミング入力や早期行動決定に関する研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Joonha Park, Jiseung Jeong, Taesik Gong

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) policies are typically evaluated as if the user had finished typing or speaking before the robot begins acting. In real deployment, however, users take several seconds to enter a request, leaving the policy idle for a substantial fraction of the interaction. We introduce Premover, a lightweight module that converts this idle window into useful precomputation. Premover keeps the VLA backbone frozen and attaches two small projection heads, one for image patches, one for language tokens, that map an intermediate layer of the backbone into a shared space. The resulting focus map is supervised by simulator-rendered target-object segmentation masks and applied as a per-patch reweighting of the next step's image tokens. A single scalar readiness threshold, trained jointly from streaming prefixes, decides when the policy should begin acting. On the LIBERO benchmark suite, Premover reduces mean wall-clock time from 34.0 to 29.4 seconds, a 13.6% reduction, while matching the full-prompt baseline's success rate (95.1% vs. 95.0%); naive premoving, by contrast, collapses to 66.4%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI