SUAVE: マスク拡散による統合映像行動モデル

- 言語条件で video と action を生成する unified model『SUAVE』 - masked diffusion transformer を採用 - 言語・video・action を discrete token として共有 sequence で表現 - 推論時に mask する token を選ぶことで world model / robot policy / video-action model として動作 - action-free co-training では unlabeled video の action 位置を mask token で埋め loss から除外

- VLA は future observation を予測せず行動前に想像しない - WAM は video diffusion backbone で想像できるが language を frozen conditioning として扱う - 既存 unified model は autoregressive に 1 token ずつ decode するか video を連続のまま auxiliary action head を付ける - SUAVE は全 modality を discrete token の共有 sequence に統一し masked diffusion で生成 - 単一 model で long-horizon video 予測と policy を両立

- Single vocabulary Unified Action-Video modEl - masked diffusion transformer が language 条件で video と action を生成 - 言語・video・action を discrete token として shared sequence に配置 - 推論時の mask 選択で world model / policy / video-action model を切替 - action-free co-training: unlabeled video の action 位置を mask token で埋め loss から除外

- simulation と real-world 実験を実施 - 単一 SUAVE が long-horizon video を予測し policy として動作 - static / dynamic manipulation で dedicated world model や specialized action policy と competitive - 実機で subgoal image と 1 秒分の action chunk を RTX 5090 上 1,030 ms で生成 - 2.5 actions per second で closed-loop control を維持 - robot video での pretraining と human video での co-training が policy 性能と zero-shot robustness を大幅改善

- masked diffusion が unified video-action modeling の実用的で汎用的な基盤であることを示す - 単一 model で world model と policy を兼ねられる点を主張 - 実機で closed-loop control 可能な速度を達成 - ただし要旨からは限界・失敗例・計算コストの詳細は不明

- VLA (vision-language-action models) - WAM (world action models) - video diffusion backbone を用いた world model - masked diffusion transformer - autoregressive な unified model - auxiliary action head 付き連続 video model