ViPRA: 動画予測によるロボット行動生成

- 動画予測モデルをロボット政策に変換する枠組み「ViPRA (Video Prediction for Robot Actions)」の提案。 - 人間や遠隔操作ロボットの動画（action labelなし）から連続ロボット制御を学習するpretraining-finetuning構成。 - 未来の視覚観測とmotion-centric latent actionsの両方を予測するvideo-language modelを学習。 - 下流制御ではchunked flow matching decoderでlatent actionsをロボット固有の連続行動列へ変換。 - 100〜200のteleoperated demonstrationsのみで適応可能。

- 従来のlatent action研究はpretrainingをautoregressive policy learningとして扱うのに対し、ViPRAは「何が変わるか」と「どう変わるか」を明示的にモデル化。 - 高価なaction annotationを回避しつつ、embodiment間の汎化を支援。 - chunked action decodingにより最大22 Hzの滑らかな高頻度連続制御を実現。 - SIMPLER benchmarkで16%向上、実世界manipulationタスクで13%改善と、強いbaselineを上回る性能を報告。

- actionless動画からvideo-language modelを訓練し、future visual observationsとmotion-centric latent actionsを予測。 - latent actionsはperceptual lossesとoptical flow consistencyで訓練し、物理的に根拠のある挙動を反映させる。 - 下流制御用にchunked flow matching decoderを導入し、latent actionsをロボット固有の連続行動列へマッピング。 - 少数のteleoperated demonstrations（100〜200）でfinetuning。 - chunked action decodingで高頻度（最大22 Hz）の連続制御を可能にする。

- SIMPLER benchmarkで評価し、強いbaselineに対して16%の性能向上を報告。 - 実世界のmanipulationタスク群でも評価し、13%の改善を報告。 - 100〜200のteleoperated demonstrationsでの下流適応を検証。 - 詳細な実験設定・被験者数・統計手法は要旨からは不明。

- action annotation不要でembodiment間汎化を支援する点を主張。 - latent actionsの物理的根拠をperceptual lossesとoptical flow consistencyで担保する設計。 - 22 Hzの高頻度制御をchunked decodingで実現する点を利点として提示。 - 限界・失敗事例・計算コスト・スケーラビリティに関する議論は要旨からは不明。

- 要旨で直接参照/比較されている個別論文は明示されていない。 - 関連手法としてlatent action pretraining（autoregressive policy learning型）の代表的研究、video-language model、flow matching、optical flow consistencyを用いた表現学習、SIMPLER benchmark関連研究を次に読む候補として挙げる。 - 具体的な論文名は要旨からは不明。