MolmoAct: 空間で推論できる行動推論モデル

- ロボット基盤モデルの新クラス **Action Reasoning Models (ARMs)** を提案する論文。 - 知覚・計画・制御を3段階のパイプラインで統合する。 - 具体モデル **MolmoAct** は観測と指示を depth-aware perception tokens に符号化し、mid-level spatial plans を編集可能な trajectory traces として生成し、低レベル行動を予測する。 - 説明可能で steerable な挙動を目指す。 - モデル重み・学習コード・データセットを公開。

- 多くのロボット基盤モデルは知覚と指示を直接制御に写像し、適応性・汎化・意味的接地が限られる。 - MolmoAct は空間的推論を中間計画として明示する点が異なる。 - 性能面の比較: - SimplerEnv Visual Matching で zero-shot 70.5%、closed-source の **Pi-0** と **GR00T N1.5** を上回る。 - LIBERO 平均成功率 86.6%、long-horizon で **ThinkAct** 比 +6.3%。 - 実世界 fine-tuning で **Pi-0-FAST** 比 +10%（single-arm）、+22.7%（bimanual）。 - out-of-distribution 汎化で baseline 比 +23.3%。 - open-ended instruction following と trajectory steering で human-preference 最高スコア。

- 3段階パイプライン: - 観測と指示を **depth-aware perception tokens** に符号化。 - **mid-level spatial plans** を編集可能な **trajectory traces** として生成。 - 精密な **low-level actions** を予測。 - これにより説明可能性と steerability を実現。 - 学習には新規公開の **MolmoAct Dataset**（10,000以上の高品質 robot trajectories）を mid-training に使用。 - 詳細なアーキテクチャや学習目的関数は要旨からは不明。

- シミュレーション: - **SimplerEnv Visual Matching** で zero-shot 70.5%。 - **LIBERO** で平均成功率 86.6%、long-horizon で ThinkAct 比 +6.3%。 - 実世界: - fine-tuning で Pi-0-FAST 比 +10%（single-arm）、+22.7%（bimanual）のタスク進行。 - out-of-distribution 汎化で baseline 比 +23.3%。 - 人間評価: - open-ended instruction following と trajectory steering で最高の human-preference スコア。 - データセット効果: - MolmoAct Dataset での学習が base model 比で平均 5.5% 改善。

- 要旨からは不明。 - 明示されているのは、ARMs が知覚を構造的推論を通じて目的ある行動に変換する open blueprint を提供するという主張。 - 限界・失敗事例・計算コスト・安全性などの議論は要旨に記載なし。

- **Pi-0** / **Pi-0-FAST**（比較対象の closed-source ロボット基盤モデル） - **GR00T N1.5**（比較対象の基盤モデル） - **ThinkAct**（long-horizon タスクでの比較対象） - **LIBERO** / **SimplerEnv**（評価ベンチマーク） - 関連する **robotic foundation models** や **vision-language-action models** の定番研究