日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.08639

汎用ロボット制御のためのネイティブなビデオ・アクション事前学習

Native Video-Action Pretraining for Generalizable Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

ロボット制御に特化したビデオ・アクション基盤モデルLingBot-VA 2.0を提案。意味的視覚・行動トークナイザ、因果事前学習、スパースMoE、非同期推論により、複雑な操作タスクでの数ショット汎化を実現した。

詳しい要約

1. どんなもの?

本論文は、ロボット制御のためのビデオアクション基盤モデル「LingBot-VA 2.0」を提案している。従来のビデオ生成モデルを物理環境に適用する際の不整合を指摘し、身体性に特化した設計をゼロから行う。具体的には、意味的・行動的整合性を持つ視覚トークナイザ、因果的プリトレーニング、スパースMoEバックボーン、非同期推論によるリアルタイム閉ループ制御を特徴とする。

2. 先行研究と比べてどこがすごい?

従来のビデオアクションモデルは、デジタルコンテンツ生成用のビデオ生成モデルを転用しており、物理環境の因果性や実時間性に不向きである。LingBot-VA 2.0は、再構成中心のVAEではなく意味・行動に整合したトークナイザを導入し、双方向アーキテクチャの適応で生じる破滅的忘却を回避するため因果的プリトレーニングをゼロから行う。また、スパースMoEにより容量拡大と効率を両立し、非同期推論で実時間制御を実現する点が優れている。

3. 技術・手法の肝は?

手法の核は4つの設計原則にある。(1) 意味的視覚アクショントークナイザ:視覚表現を意味と行動の両方に整合させ、指示追従と行動精度を向上。(2) 因果的プリトレーニング:時間ダイナミクスの厳密な因果性を考慮し、双方向アーキテクチャの適応による破滅的忘却を回避するため、ゼロから訓練。(3) スパースMoEバックボーン:モデル容量を拡大しつつ効率を維持。(4) 非同期推論スキーム:行動実行と並行して未来の潜在変数を予測し、学習された前方ダイナミクスで最新の観測に再接地することで、リアルタイム閉ループ制御を実現。

4. どうやって有効だと検証した?

実世界の展開により検証している。複雑な操作タスクにおける数ショット汎化性能を示し、LingBot-VA 2.0が堅牢な基盤モデルであることを実証した。具体的なタスクや比較対象は要旨からは不明。

5. 議論はある?

要旨からは、提案手法の有効性は示されているが、限界や議論については明記されていない。例えば、スパースMoEの負荷分散や非同期推論の遅延影響などは要旨からは不明。また、数ショット汎化の範囲や他の基盤モデルとの比較も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている先行研究として、LingBot-VA(前バージョン)が挙げられる。また、ビデオ生成モデルやVAE、MoE、因果的プリトレーニングに関する一般的な研究が関連する。具体的な論文名は要旨にないため、同分野の定番として「Video Generation Models」「Vision-Language-Action Models」などを挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qihang Zhang, Lin Li, Luyao Zhang, Shuai Yang, Yiming Luo, Shuaiting Li, Ruilin Wang, Junke Wang, Jiahao Shao, Gangwei Xu, Jiaming Zhou, Yishu Shen, Yudong Jin, Fangyi Xu, Shuailei Ma, Jiaqi Liao, Guanxing Lu, Zifan Shi, Yongkun Wen, Yujie Zhao, Weixuan Tang, Xinyang Wang, Chaojian Li, Jiapeng Zhu, Ka Leong Cheng, Nan Xue, Xing Zhu, Yujun Shen, Yinghao Xu

分類: cs.RO, cs.CV

原文アブストラクト

The advent of video-action models offers a promising path for robot control. Nevertheless, we argue that repurposing video generative models designed for digital content creation is inherently inadequate for physical environments. To bridge this gap, we present LingBot-VA 2.0, a video-action foundation model built from the ground up for embodiment. Four core design principles showcase its evolution from LingBot-VA. (1) Departing from traditional reconstruction-focused VAEs, we introduce a semantic visual-action tokenizer, which aligns visual representations with both semantics and actions, improving instruction following and action precision in subsequent policy learning. (2) Given the strictly causal nature of temporal dynamics, we adopt a causal pretraining paradigm, training from scratch to circumvent the catastrophic forgetting that frequently occurs when adapting bidirectional architectures. (3) To meet the demands of high-frequency inference, our model employs a sparse MoE backbone, expanding model capacity without compromising efficiency. (4) Real-time closed-loop control is realized through an enhanced asynchronous inference scheme, which predicts future latents in parallel with action execution while re-grounding each rollout on the latest observation via learned forward dynamics. Real-world deployment validates LingBot-VA 2.0 as a robust foundation model, as evidenced by its few-shot generalization across complex manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI