日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2606.03127

TTT-VLA: テスト時潜在プロンプト最適化による視覚言語行動モデルの適応

TTT-VLA: Test-Time Latent Prompt Optimization for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語行動モデル(VLA)のテスト時分布シフトに対処するため、環境からの相互作用データを用いて潜在プロンプトのみを最適化するテスト時訓練フレームワークを提案した。

詳しい要約

1. どんなもの?

Vision-Language-Action (VLA) モデルの配備時分布シフトへの脆弱性に対処する TTT-VLA を提案。 - Test-Time Training (TTT) を Latent Prompt Optimization (LPO) で実現する枠組み。 - 訓練時は latent prompt を proxy task と共に学習し、方策学習への追加条件信号とする。 - テスト時は現環境の interaction data を収集し、方策自体は変えず latent prompt のみを proxy task の自己教師信号で最適化。 - SimplerEnv で単一・複数 embodiment 設定の成功率を改善。

2. 先行研究と比べてどこがすごい?

既存の prompt-based steering は外部 guidance に依存していた。 - 本研究は steering interface 自体を interaction から学習・適応可能にする点が新しい。 - テスト時に方策を変更せず latent prompt のみを最適化する点が、従来の TTT や prompt 手法と異なる。 - 配備時改善の実用的経路を提示。

3. 技術・手法の肝は?

Latent Prompt Optimization (LPO) が中核。 - 訓練時: latent prompt を proxy task と共に学習し、方策への追加 conditioning signal とする。 - テスト時: 現環境から interaction data を収集し、proxy task の自己教師信号で latent prompt のみを最適化。 - 方策パラメータは固定し、prompt 空間のみを適応。

4. どうやって有効だと検証した?

SimplerEnv 上で評価。 - 単一 embodiment および複数 embodiment 設定の両方で task success rate が一貫して改善。 - さらなる分析で、改善は方策挙動の全体的変化ではなく、少数の critical decisions の修正に主に起因すると示された。

5. 議論はある?

利得は少数の critical decisions の修正から生じ、方策全体を変えるわけではないと分析。 - LPO が foundation manipulation policies の配備時改善への有効かつ実用的な経路であると示唆。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照・比較されている研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、prompt-based steering、Test-Time Training (TTT)、Latent Prompt Optimization (LPO) が挙げられる。 - 同分野の定番として SimplerEnv を用いた manipulation policy 評価や foundation manipulation policies の研究が次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenbo Zhang, Jianxiong Li, Shuai Yang, Sijin Chen, Jiajun Liu, Lingqiao Liu, Xiao Ma

分類: cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models trained on large-scale data have made remarkable progress, but they remain vulnerable to distribution shifts at deployment time. Recent VLA models suggest that prompts can serve as an efficient interface for steering policy behavior, but existing prompt-based steering typically relies on external guidance. This raises a natural question: can test-time training (TTT) for VLA be achieved by optimizing a prompt, so that the steering interface itself can be learned and adapted from interaction? We address this question with TTT-VLA, a test-time training framework based on Latent Prompt Optimization (LPO). During training, the latent prompt is learned with an additional proxy task, providing an extra learned conditioning signal for policy learning. At test time, TTT is performed by collecting interaction data from the current environment and optimizing only the latent prompt on those data using the proxy task's self-supervised signal, without modifying the policy itself. Experiments on SimplerEnv demonstrate that the proposed method consistently improves task success rates in both single- and multi-embodiment settings. Further analysis shows that the gains arise primarily from correcting a small number of critical decisions rather than globally altering policy behavior. These results suggest that LPO provides an effective and practical pathway for deployment-time improvement of foundation manipulation policies.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI