MomaGraph: 視覚言語モデルによる状態認識統合シーングラフと身体性タスクプランニング

- 家庭内の mobile manipulator 向けの統一 scene representation「MomaGraph」を提案する研究。 - 物体の位置・機能・操作可能な部位を統合し、spatial-functional relationships と part-level interactive elements を表現。 - 併せて大規模データセット「MomaGraph-Scenes」と評価スイート「MomaGraph-Bench」を構築。 - 7B vision-language model「MomaGraph-R1」を reinforcement learning で学習し、task-oriented scene graph を予測。 - Graph-then-Plan framework による zero-shot task planner として機能。

- 先行研究は spatial と functional の関係を分離して扱う傾向があったのに対し、両者を統合。 - 従来は scene を静的な snapshot として扱い、object states や temporal updates を欠いていたが、本手法は state-aware な表現を志向。 - 現在のタスク遂行に最も関連する情報を見落としていた点を改善。 - こうした表現のための適切なデータと厳密な評価が欠けていたため、MomaGraph-Scenes と MomaGraph-Bench を新たに提供。

- 統一 scene representation「MomaGraph」: spatial-functional relationships と part-level interactive elements を統合。 - MomaGraph-Scenes: 家庭環境における task-driven scene graphs を詳細にアノテーションした大規模データセット。 - MomaGraph-Bench: 高レベル planning から fine-grained scene understanding まで6つの reasoning capabilities を評価するスイート。 - MomaGraph-R1: MomaGraph-Scenes 上で reinforcement learning により学習した7B vision-language model。 - Graph-then-Plan framework の下で task-oriented scene graph を予測し、zero-shot task planner として動作。

- MomaGraph-Bench 上で広範な実験を実施。 - open-source models の中で state-of-the-art を達成し、accuracy 71.6%（best baseline 比 +11.4%）。 - 公開ベンチマークへの generalization と、実ロボット実験への効果的な transfer を示した。 - 詳細な実験設定・被験体・指標の内訳は要旨からは不明。

- 要旨からは不明。 - 明示されているのは、spatial/functional 分離、静的 snapshot 扱い、タスク関連情報の欠落という先行研究の限界への対処。 - 限界・失敗事例・計算コスト・実ロボットでの詳細な議論は要旨からは不明。

- MomaGraph-Scenes および MomaGraph-Bench の原論文・データセット詳細。 - Graph-then-Plan framework の関連研究。 - vision-language model を用いた scene graph 生成・embodied task planning の関連手法（要旨で個別名の参照なし）。 - 比較対象の open-source baseline モデル群の論文。