Meituan-Robotics-0: デスクトップ操作のための視覚言語行動基盤モデル

- Meituan-Robotics-0 (MR0) は、据え置きベースのデスクトップ操作(desktop manipulation)向けの vision-language-action 基盤モデル兼 embodied-agent システム。 - 147 million の vision-language サンプルと、12 embodiments にまたがる 15,060 時間の curated robot trajectories を組み合わせる。 - 三段的学習レシピ(discrete action-token pre-training → flow-matching mid-training → real-world post-training)で構成。 - Rollback、unified end-effector interface、asynchronous action-chunk merging、event-driven agent を備える。

- 大規模 vision-language データと多 embodiment の robot trajectories を統合した基盤モデルである点を主張。 - Rollback により、value learning や advantage labeling を用いずに CFG-DAgger へ正負の supervision を与える点が新しい。 - 異種 embodiment を unified end-effector interface で扱い、可変な inference latency 下でも asynchronous action-chunk merging で滑らかな実行を維持。 - event-driven agent が persistent task events を保持し、進捗や feasibility の変化に応じて plan を再評価する。 - 具体的な先行研究との定量比較は要旨からは不明(π_{0.5} との比較は実機タスクで言及)。

- 三段階学習: (1) discrete action-token pre-training で multimodal representations を robot behavior に整合、(2) flow-matching mid-training で prior を連続的な cross-embodiment control へ転移、(3) real-world post-training で policy を適応。 - Rollback: 置換された policy segment と human corrections を対にして、CFG-DAgger 用の positive/negative supervision を生成。 - unified end-effector interface で heterogeneous embodiments を吸収。 - asynchronous action-chunk merging で inference latency 変動下の実行平滑化。 - event-driven agent が task events を…

- RoboTwin 2.0 で 93.6% success、RoboDojo VLA track で 5 位。 - 同一条件の HG-DAgger post-training 下で、3 つの real-robot tasks において π_{0.5} より高い平均 success rate と progress score を達成。 - Ethernet insertion では、Rollback data で学習した CFG-DAgger が 70% success、progress score 0.90。 - qualitative な agent 展開で cross-task event retrieval と、一時的に満たされない task 条件からの recovery を実証。

- 据え置きベースの desktop manipulation に限定された設定であり、移動を伴う操作への一般化は要旨からは不明。 - Rollback の有効性は Ethernet insertion 等で示されるが、他タスクや embodiment への広範な検証は要旨からは不明。 - event-driven agent の評価は qualitative が中心で、定量的な限界や失敗分析は要旨からは不明。 - 大規模データ(147M vision-language、15,060 時間 trajectories)の収集・計算コストに関する議論は要旨からは不明。

- π_{0.5}(実機タスクで比較対象)。 - CFG-DAgger および HG-DAgger(DAgger 系の post-training 手法)。 - flow-matching を用いた VLA/ロボット政策学習の関連研究。 - RoboTwin 2.0 および RoboDojo VLA track のベンチマーク関連研究。 - cross-embodiment 操作用の unified action/end-effector interface に関する研究。