日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.15556

Vision-Predictor-Action:神経記号的JEPA予測器による効率的な身体性AIに向けて

Vision-Predictor-Action: Towards Efficient Embodied AI via Neuro-Symbolic JEPA Predictors

シェア:XThreadsFacebookLINEはてブBluesky

自己回帰的なLLMデコーダの代わりに軽量な潜在制御ループとJEPA予測器、フローマッチングを用いてロボットの行動チャンクを生成し、推論遅延を抑えつつLIBERO-10で初期検証した論文。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルの推論遅延問題に対処する Goal-Conditioned Vision-Predictor-Action (VPA) を提案。 - LLM decoder による自己回帰的な action 生成を、軽量な latent control loop に置き換える。 - 構成要素は shared vision encoder、frozen text encoder、neuro-symbolic selector、JEPA predictor、flow-matching solver。 - LIBERO-10 suite での初期 proof of concept を示す。

2. 先行研究と比べてどこがすごい?

- 従来の VLA は LLM decoder で action を token 単位に生成し、action 列長に応じて推論遅延が増大。 - VPA は自己回帰 decoder を排除し、decision step あたりの逐次ネットワーク評価が action horizon に依存しない。 - 学習可能パラメータは 20M 未満、checkpoint は 75 MB 未満 (frozen CLIP text encoder 63.4M を除く)。 - 単一 GPU で 3 時間未満の学習という軽量性を主張。

3. 技術・手法の肝は?

- shared vision encoder と frozen text encoder で observation、goal image、instruction を埋め込む。 - neuro-symbolic selector が離散 skill を選択。 - Joint-Embedding Predictive Architecture (JEPA) predictor が次 latent state を予測。 - flow-matching solver が数 integration step で action chunk 全体を生成。 - 推論複雑度、表現崩壊への正則化、latent sub-goal thresholding が誤差蓄積を抑える条件を分析。

4. どうやって有効だと検証した?

- LIBERO-10 suite で評価。 - LIBERO-10 の demonstration のみで学習し、単一 GPU で 3 時間未満。 - 2 カメラ policy が 200 evaluation episodes 中 40.0% 成功。 - 単一カメラ reference 構成の decision step は Apple M4 で 10-14 ms。 - 単一 training run の予備的結果と位置づけ。

5. 議論はある?

- 単一 training run の preliminary results であり、approach が workable であることを示唆するに留まる。 - 推論複雑度、表現崩壊への正則化、latent sub-goal thresholding の条件を分析。 - 40.0% という成功率や単一 run の限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA)、Joint-Embedding Predictive Architecture (JEPA)、flow-matching、LIBERO-10 を挙げる。 - 同分野の定番として LLM decoder ベースの VLA や diffusion policy 系が想定されるが、要旨に明記はない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yeonseok Lee

分類: cs.LO, cs.LG, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models commonly generate robot actions token by token through Large Language Model (LLM) decoders, causing inference latency to grow with action sequence length and limiting closed-loop control frequency. We present Goal-Conditioned Vision-Predictor-Action (VPA), which replaces autoregressive decoders with a lightweight latent control loop. A shared vision encoder and a frozen text encoder embed observations, goal images, and instructions; a neuro-symbolic selector chooses a discrete skill; a Joint-Embedding Predictive Architecture (JEPA) predictor forecasts the next latent state; and a flow-matching solver generates an entire action chunk in a few integration steps, so that sequential network evaluations per decision step do not depend on the action horizon. We analyze inference complexity, regularization against representation collapse, and conditions under which latent sub-goal thresholding limits error accumulation across task phases. As an initial proof of concept, we evaluated VPA on the LIBERO-10 suite. The trainable model has under 20M parameters (checkpoint under 75 MB, excluding a frozen 63.4M-parameter CLIP text encoder); a decision step of a single-camera reference configuration takes 10-14 ms on an Apple M4; and trained only on LIBERO-10 demonstrations in under three hours on a single GPU, a two-camera policy succeeded in 40.0% of 200 evaluation episodes. These preliminary results from a single training run suggest the approach is workable. Code and weights are available at https://github.com/ylee-sling/Vision-Predictor-Action and https://huggingface.co/ylee-sling/vpa-libero10, and archived at https://doi.org/10.5281/zenodo.22960920.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI