日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.13231

VITA: 視覚から行動へのフローマッチングポリシー

VITA: Vision-to-Action Flow Matching Policy

シェア:XThreadsFacebookLINEはてブBluesky

視覚表現から直接潜在行動へ流すノイズ・条件付け不要のフローマッチング方策を提案し、行動オートエンコーダとフロー潜在デコーディングで学習を安定化、従来比1.5〜2倍高速な推論を実現した。

詳しい要約

1. どんなもの?

- VITA(VIsion-To-Action)は、視覚表現から潜在行動へ直接フローを流すflow matchingベースのロボット政策学習フレームワーク。 - 従来のflow matching/diffusion政策が標準ノイズ(例:Gaussian)からの反復denoisingと生成中の視覚条件付けを必要とするのに対し、VITAはnoise-freeかつconditioning-freeで生成する。 - 視覚と行動の次元・構造の不一致をaction autoencoderで吸収し、flow matchingとjoint trainingする。 - ALOHAとRobomimicの9シミュレーション・5実世界タスクで評価。

2. 先行研究と比べてどこがすごい?

- 従来のflow matching/diffusion政策は、生成過程でconditioning moduleにより視覚情報を繰り返し注入するため、時間・メモリのオーバーヘッドが大きい。 - VITAはフローの源が視覚的にgroundedしているため、生成時の視覚条件付けを不要にし、noise-free・conditioning-freeを実現。 - 結果として従来のconditioning module付き手法より1.5x–2x高速な推論を達成しつつ、state-of-the-art政策を上回るか同等の性能。

3. 技術・手法の肝は?

- 視覚表現から潜在行動へ直接flow matchingする枠組み。源が視覚的にgroundedなので生成中の視覚条件付けが不要。 - 行動は視覚表現より低次元・非構造・疎であり、flow matchingは源と目標の次元一致を要するため、raw actionを視覚latentと整合する構造化latent空間へ写すaction autoencoderを導入し、flow matchingとjoint training。 - end-to-end学習でのlatent action space collapseを防ぐため、flow latent decodingを提案。flow matchingのODE solvingステップを通じてaction reconstruction lossを逆伝播し、latent生成過程をanchorする。

4. どうやって有効だと検証した?

- ALOHAとRobomimic由来の9シミュレーションタスクと5実世界タスクで評価。 - 従来のconditioning module付き手法と比較して1.5x–2x高速な推論を達成。 - 性能面ではstate-of-the-art政策を上回るか同等であることを示した。 - 詳細なベースライン名や指標は要旨からは不明。

5. 議論はある?

- 視覚と行動の橋渡しは、行動が低次元・非構造・疎で、flow matchingが源と目標の次元一致を要求する点が課題として挙げられている。 - action autoencoderによるlatent空間整合とflow latent decodingによるcollapse防止が設計上の要点。 - 具体的な限界・失敗事例・計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 比較対象として言及されるconventional flow matching/diffusion-based policies(conditioning module付き手法)。 - 評価に用いられたALOHAおよびRobomimic関連の政策研究。 - action autoencoderやlatent action space、flow matchingのODE solvingに関する関連手法。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dechen Gao, Boqi Zhao, Andrew Lee, Ian Chuang, Hanchu Zhou, Hang Wang, Zhe Zhao, Junshan Zhang, Iman Soltani

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

Conventional flow matching and diffusion-based policies sample via iterative denoising from standard noise distributions (e.g., Gaussian), and require conditioning modules to repeatedly incorporate visual information during the generative process, incurring substantial time and memory overhead. To reduce the complexity, we develop VITA, VIsion-To-Action policy, a noise-free and conditioning-free flow matching policy learning framework that directly flows from visual representations to latent actions. Since the source of the flow is visually grounded, VITA eliminates the need for visual conditioning during generation. As expected, bridging vision and action is challenging, because actions are lower-dimensional, less structured, and sparser than visual representations; moreover, flow matching requires the source and target to have the same dimensionality. To overcome this, we introduce an action autoencoder that maps raw actions into a structured latent space aligned with visual latents, trained jointly with flow matching. To further prevent latent action space collapse during end-to-end training, we propose flow latent decoding, which anchors the latent generation process by backpropagating the action reconstruction loss through the flow matching ODE (ordinary differential equation) solving steps. We evaluate VITA on 9 simulation and 5 real-world tasks from ALOHA and Robomimic. VITA achieves 1.5x-2x faster inference compared to conventional methods with conditioning modules, while outperforming or matching state-of-the-art policies. Project page: https://ucd-dare.github.io/VITA/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI