日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.07675

具身知能のためのMixture-of-Expertsビデオ事前学習のスケーリング

Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence

シェア:XThreadsFacebookLINEはてブBluesky

ロボット制御に特化したビデオ生成モデルLingBot-Videoを提案。MoEアーキテクチャとロボット向けデータ、物理合理性を評価する報酬系で、デジタル生成と物理動作の橋渡しを目指す。

詳しい要約

1. どんなもの?

LingBot-Videoは、具現化知能(Embodied Intelligence)向けに特化したDiTベースのビデオ事前学習パラダイムである。アーキテクチャにはMixture-of-Experts (MoE)を採用し、データ面ではロボット指向の映像(操作、ナビゲーション、エゴセントリック視点)を拡充したデータプロファイリングエンジンを構築、訓練面では物理的合理性とタスク完了を考慮した多次元報酬システムを開発する。大規模でオープンソースのMoEビデオ基盤モデルとして、デジタル創造性と物理的動作を橋渡しすることを目指す。

2. 先行研究と比べてどこがすごい?

従来のビデオ生成モデルはコンテンツ生成に焦点を当て、視覚的忠実度や創造性を優先するため、計算効率や物理的現実性が軽視され、ロボット制御とのドメインミスマッチが生じる。LingBot-Videoは、MoEフレームワークによりモデル容量と推論効率のトレードオフを改善し、ロボット指向データと多次元報酬システムを導入することで、物理的合理性とタスク完了の整合を図る点が革新的である。

3. 技術・手法の肝は?

手法の肝は3点。(1) アーキテクチャ: 高密度(dense)ではなくMoEを採用し、ゼロからスケールアップ。(2) データ: 標準的なインターネットビデオにロボット操作、ナビゲーション、エゴセントリック視点の映像を追加するデータプロファイリングエンジンを構築し、行動と世界力学の内在的理解を獲得。(3) 訓練: 美的品質、プロンプト追従、動作一貫性などの標準基準に加え、物理的合理性とタスク完了を強制する多次元報酬システムを開発。

4. どうやって有効だと検証した?

包括的な評価により、ビデオ基盤モデルとしての性能と効率を検証した。具体的な評価指標やデータセットは要旨からは不明だが、物理的合理性やタスク完了の整合性が評価されたと推測される。

5. 議論はある?

要旨からは、MoEのスケーリングやデータ構成、報酬システムの設計に関する詳細な議論は不明。また、実ロボットへの適用結果や、既存のビデオ生成モデルとの定量的比較についても要旨には明記されていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究は明示されていないが、同分野の定番として、ビデオ生成モデル(DiTベースのもの)やMoEアーキテクチャ、ロボット学習のためのビデオ事前学習に関する論文が挙げられる。具体的には、Video Generation with Diffusion TransformersやMixture of Expertsに関する研究、Embodied AI向けのビデオ予測モデルなどが関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shuailei Ma, Jiaqi Liao, Xinyang Wang, Jingjing Wang, Chaoran Feng, Zijing Hu, Chong Bao, Zichen Xi, Yuqi Gan, Weisen Wang, Yanhong Zeng, Qin Zhao, Zifan Shi, Wei Wu, Hao Ouyang, Qiuyu Wang, Shangzhan Zhang, Jiahao Shao, Yipengjing Sun, Liangxiao Hu, Lunke Pan, Nan Xue, Kecheng Zheng, Yinghao Xu, Xing Zhu, Yujun Shen, Ka Leong Cheng

分類: cs.CV

原文アブストラクト

Despite the recent promise in robot control, video generative models suffer from a domain mismatch due to their primary focus on content creation. For example, their design inherently prioritizes visual fidelity and creativity over computational efficiency and physical realism. In this work, we present LingBot-Video, a DiT-based video pretraining paradigm specifically tailored for embodied intelligence. From the architecture perspective, we adopt the Mixture-of-Experts (MoE), instead of dense, framework to achieve a better trade-off between modeling capacity and inference efficiency, and manage to scale it up from scratch. From the data perspective, we construct a data profiling engine that augments standard internet videos with extensive robot-oriented footage, encompassing manipulation, navigation, and egocentric perspectives, to equip the base model with an intrinsic understanding of actions and world dynamics. From the training perspective, we develop a multi-dimensional reward system to enforce the alignment regarding physical rationality and task completion, going beyond standard criteria such as aesthetics, prompt-following, and motion consistency. Comprehensive evaluations validate its performance and efficiency as a video foundation model. We contribute LingBot-Video as the inaugural large-scale, open-source MoE video foundation model to the community, in a pioneering effort to bridge digital creativity and physical actuation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI