日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.10860

Flex-π: 計算柔軟性を備えたマルチストリーム世界行動モデル

Flex-$\pi$: A Multi-Stream World-Action Model with Compute Flexibility

シェア:XThreadsFacebookLINEはてブBluesky

既存の世界行動モデルはRGBのみを予測するが、Flex-πは凍結したビデオ生成VAEが3D点群も符号化できることを発見し、3D幾何学とオブジェクト中心のセマンティクスを追加で学習。ストリームごとのドロップアウトにより、単一のチェックポイントで高速な行動のみから完全な共同生成まで柔軟に動作し、実世界の両腕操作タスクで高い性能を達成。

詳しい要約

1. どんなもの?

Flex-$\pi$は、ロボット操作のための6BパラメータのWorld-Action Model (WAM)である。RGBに加えて3D幾何学(pointmaps)とオブジェクト中心のDINO semanticsを共同で予測・生成する。すべての視覚信号を共有の潜在空間に投影し、Mixture-of-Transformersバックエンド内でアクションと一緒にdenoiseする。ストリームごとのdropoutとcross-modality forcingにより、単一の訓練済みチェックポイントが、高速なアクションのみのモードから完全な共同生成まで、任意のストリームのサブセットで動作できる。

2. 先行研究と比べてどこがすごい?

従来のWAMはRGB latentsのみを予測し、ピクセル再構成のみに訓練され、3D幾何学やオブジェクトセマンティクスの明示的な信号がなかった。Flex-$\pi$は、凍結されたvideo-generation VAEがRGBをエンコードするのと同じものが、pointmap固有の訓練なしに3D pointmapsをほぼロスレスでエンコードするという発見を利用し、追加のセンサーや事前訓練、推論レイテンシなしに3D幾何学とDINO semanticsを監督に追加できる。これにより、デモ効率と一般化が大幅に向上し、強力なベースラインを最大2〜7倍上回る性能を達成している。

3. 技術・手法の肝は?

手法の肝は、凍結されたvideo-generation VAEの潜在空間がRGBと3D pointmapsの両方をエンコードできるという発見に基づき、すべての視覚信号(RGB、pointmaps、DINO semantics)を同じ潜在空間に投影し、アクションと一緒にMixture-of-Transformersバックエンドでdenoiseすること。さらに、トレーニング中に各ストリームをランダムにdropoutし、cross-modality forcingを用いることで、単一のチェックポイントが任意のストリームのサブセットで動作可能になる。これにより、推論時の計算量を柔軟に調整できる。

4. どうやって有効だと検証した?

実世界の器用で精密なバイマニュアル操作タスク(in-distributionとout-of-distributionの両方)で評価し、最強のベースラインと比較して最大2〜7倍の性能向上を達成した。また、アクションのみのモードでは$\pi_{0.5}$よりも高速に動作することを示した。デモ効率と一般化の優位性も検証された。

5. 議論はある?

要旨からは、潜在空間の共有による情報の整合性や、dropout戦略の最適化、異なるストリーム間の相互作用の詳細、スケーラビリティの限界などについての議論は不明。また、pointmapsとDINO semanticsの監督が具体的にどのようにポリシーの性能向上に寄与するかの分析も要旨には含まれていない。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、World-action models (WAMs)の一般概念、$\pi_{0.5}$(ベースラインとして比較)、video-generation VAE、DINO semantics、Mixture-of-Transformers、pointmaps関連の研究が挙げられる。具体的には、これらの手法の元論文や、WAMの先行研究(例:World Models)を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ge Yan, Jinghao Liu, Yuzhi Fan, Lei Cai, Minwen Liao, Jesse Zhang, Dieter Fox

分類: cs.RO, cs.CV

原文アブストラクト

World-action models (WAMs) predict the future to act better, but nearly all of them predict only RGB latents, trained purely for pixel reconstruction, with no explicit signal for the 3D geometry or object semantics manipulation needs. We find a surprising free lunch: the same frozen video-generation VAE that encodes RGB also encodes 3D pointmaps almost losslessly, with no pointmap-specific training at all. This lets us supervise Flex-$\pi$, a 6B-parameter WAM, on 3D geometry and object-centric DINO semantics alongside RGB, at no cost in new sensors, new pre-training, or inference latency. Every visual signal is projected into this shared latent space and denoised jointly with actions inside a Mixture-of-Transformers backbone; per-stream dropout with cross-modality forcing then lets a single trained checkpoint run on any subset of these streams, from a fast action-only mode to full joint generation. The result is a policy that is exceptionally demonstration-efficient and generalizes well, beating the strongest baselines by up to 2-7$\times$ on dexterous, precise, real-world bimanual manipulation tasks both in and out of distribution, all while running faster than $\pi_{0.5}$. Our project website: https://flex-pi.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI