RynnVLA-Latent: 3D接地潜在行動でロボット操作基盤モデルをスケールする

- RynnVLA-Latent は、heterogeneous な interaction videos から robot policy pretraining 用のスケーラブルな supervision を作る framework。 - 中核の RynnLAM が、native な robot controls 無しに visual transitions から連続的で 3D-grounded な latent actions を学習。 - 30.1K 時間の human/robot/simulation videos から 745.52M の latent-action descriptors を生成。 - 4B の policy として LIBERO や RoboTwin 2.0 などで評価される manipulation foundation model。

- VLA models の scaling は action-labeled demonstrations の不足と embodiment 間の control spaces 非互換に制約される、という問題設定。 - 提案法は native robot controls を必要とせず、heterogeneous な videos を supervision に変換できる点が特徴。 - 外観変化ではなく control-relevant motion を捉える表現を促す設計。 - 具体的な prior 手法名との比較数値は要旨からは不明。

- RynnLAM が visual transitions から 3D-grounded latent actions を学習。 - residual future-feature prediction、camera-compensated 3D-flow supervision、camera-motion decoupling を組み合わせる。 - RynnVLA-Latent は visual observations と language から latent-action chunks を flow matching で予測。 - その後 pretrained backbone と action expert を embodiment-specific robot actions に適応。

- LIBERO で 98.8%、LIBERO-Plus で benchmark-specific adaptation 無しに 84.7% の success。 - VLABench の 5 tracks で平均 51.9%、RoboTwin 2.0 bimanual benchmark で平均 88.6%。 - dexterous-hand と mobile-gripper の 6 real-world manipulation tasks で比較手法中最高の success rates。 - representation ablations と data-scaling results も実施。

- latent-action supervision により native action-labeled data を超えて robot policy learning を scaling できる可能性を示す。 - 異種 embodiment の control spaces 非互換への対処として latent actions を用いる点が議論の中心。 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明。

- RynnLAM（本論文の中核手法） - flow matching を用いる VLA/action generation 系研究 - LIBERO、LIBERO-Plus、VLABench、RoboTwin 2.0 の各 benchmark 論文 - 比較対象の具体的な prior VLA models は要旨からは不明。