MolmoMotion: 言語指示による3D点軌跡予測

- 3D point motion forecasting を goal-conditioned に定式化した研究。 - 入力: 短い visual history、対象物体上の 3D query points、意図を表す language description。 - 出力: 各点の将来の 3D trajectory。 - 大規模に研究するための full stack を提案。 - MolmoMotion-1M: 1.16M の unconstrained videos から注釈された action-described, object-grounded 3D point trajectories の corpus。 - PointMotionBench: 111 object categories、61 motion types をカバーする human-verified benchmark。 - MolmoMotion: autoregressive coordinate prediction と flow-matching-based trajectory g…

- 3D points in world coordinates を class-agnostic, view-stable, compact で下流タスクに直接有用な一般表現として採用。 - 既存の motion prediction baselines と比べ、PointMotionBench 上で大幅に上回る性能。 - 学習された 3D motion prior が robot manipulation の training efficiency と generalization を改善。 - 予測 trajectory が generative models の video synthesis における motion guidance として有効で、より現実的な物体運動を実現。

- タスクを goal-conditioned 3D point motion forecasting として形式化。 - MolmoMotion は 2 つの生成方式をサポート。 - autoregressive coordinate prediction。 - flow-matching-based trajectory generation。 - 大規模データ MolmoMotion-1M と評価用 PointMotionBench を構築。 - 詳細な architecture や training procedure は要旨からは不明。

- PointMotionBench 上で既存の motion prediction baselines と比較し、大幅な性能向上を確認。 - 異なる language instructions に対して多様な motion patterns を正確に予測できることを確認。 - 下流応用で検証。 - robot manipulation の training efficiency と generalization の改善。 - generative models の video synthesis における motion guidance としての有効性。

- 3D points in world coordinates が class-agnostic, view-stable, compact で下流に有用という主張。 - 学習された 3D motion prior の転移可能性を robot manipulation と video synthesis で示す。 - 限界、失敗例、計算コスト、データバイアスなどの議論は要旨からは不明。

- 要旨で参照/比較されている研究: 既存の motion prediction baselines（具体名は要旨からは不明）。 - 関連手法: flow-matching-based trajectory generation、autoregressive coordinate prediction。 - 同分野の定番: 3D human motion forecasting、trajectory prediction、video prediction、robot manipulation における motion planning。