日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.38508

JEPA特徴を用いたVLA制御における未来潜在予測の評価

SaiVLA-JEPA: Evaluating Future Latent Prediction in JEPA-Conditioned VLA Control

シェア:XThreadsFacebookLINEはてブBluesky

V-JEPA特徴を入力とするVLAポリシーに未来表現予測の補助損失を加え、閉ループ制御性能への影響をLIBERO-Plusで検証した。現状のJEPA条件付けは成功率を向上させるが、未来予測の追加監督は明確な利得を示さなかった。

詳しい要約

1. どんなもの?

- VLA 制御における JEPA の future latent prediction の効果を検証する研究 - SaiVLA-JEPA と呼ぶ JEPA-conditioned flow policy ファミリを提案 - VLM と diffusion transformer による action expert を組み合わせる - frozen な V-JEPA encoder から特徴を受け取る - 学習時のみ future representation を予測する軽量 auxiliary head を2つ付加し、推論時には除去 - LIBERO-Plus の 10,030 paired episodes で比較評価

2. 先行研究と比べてどこがすごい?

- JEPA 特徴なし(71.6%)に対し、current JEPA conditioning で約82.5%成功と大幅改善 - ただし future supervision の追加は評価した training budget では集約的な改善が検出されず - SaiVLA-JEPA-TCA(latent context 適応)と SaiVLA-JEPA-TPA(selected parameters 適応)も別途評価 - context-retry の利得はより大きい attempt budget 下での system-level な結果 - parameter adaptation は frozen policy や target controls に対し一貫した優位なし - latent loss だけでなく paired closed-loop rollouts で評価すべきと主張

3. 技術・手法の肝は?

- VLM + diffusion transformer action expert からなる flow policy - frozen V-JEPA encoder の特徴を条件として入力 - 学習時に future representation を予測する2つの軽量 auxiliary head を付加 - 推論時には除去され action sampler は不変 - 比較条件は3種 - JEPA 特徴なし - current JEPA conditioning のみ - future supervision を追加 - 派生版として TCA(latent context 適応)と TPA(selected parameters 適応)

4. どうやって有効だと検証した?

- LIBERO-Plus の 10,030 paired episodes を用いた closed-loop 評価 - 成功率的には JEPA 特徴なし71.6%に対し current JEPA conditioning 約82.5% - future supervision は評価した training budget で集約的改善を検出できず - TCA はより大きい attempt budget 下での context-retry 利得を system-level に示す - TPA は frozen policy および target controls と比較し一貫した優位を示さず

5. 議論はある?

- future latent prediction の supervised 追加は今回の budget では効果が検出されない - latent loss の改善が closed-loop 制御性能に直結しない可能性を示唆 - context-retry の利得は attempt budget 依存の system-level 結果であり、手法自体の効果と切り分けが必要 - parameter adaptation の有効性は限定的で、frozen 方針との比較で優位が確認できない - 評価は paired closed-loop rollouts で行うべきという主張

6. 次に読むべき論文は?

- V-JEPA(および JEPA 系の representation prediction) - VLA と diffusion transformer action expert を組み合わせた flow policy 系研究 - LIBERO-Plus ベンチマーク関連研究 - latent prediction objective と closed-loop 制御の関係を扱う研究 - 要旨では特定の比較論文名は明示されていない

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Rufeng Xiao, Ruihao Xiao, Wei Chen, Xinhai Sun

分類: cs.RO, cs.AI

原文アブストラクト

Joint-embedding predictive architectures (JEPAs) learn to predict representations rather than pixels, offering a compact way to model how visual scenes evolve. We ask whether this predictive objective improves closed-loop control when a vision-language-action (VLA) policy already uses V-JEPA features. We call our JEPA-conditioned flow policy family SaiVLA-JEPA. It combines a vision-language model with a diffusion transformer action expert and receives features from a frozen V-JEPA encoder. Two lightweight auxiliary heads predict future representations during training and are omitted at inference, leaving the action sampler unchanged. We compare policies without JEPA features, with current JEPA conditioning, and with additional future supervision on 10,030 paired LIBERO-Plus episodes. Current JEPA conditioning reaches about 82.5% success versus 71.6% without JEPA, while future supervision provides no detectable aggregate gain at the evaluated training budget. We separately evaluate SaiVLA-JEPA-TCA, which adapts latent context, and SaiVLA-JEPA-TPA, which adapts selected parameters. The context-retry gain is a system-level result under a larger attempt budget; parameter adaptation shows no consistent advantage over the frozen policy and target controls. These results motivate assessing latent-prediction objectives through paired closed-loop rollouts rather than latent loss alone.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI