OWMM-Agent：マルチモーダルなエージェントデータ合成によるオープンワールド移動マニピュレーション

- 本研究は、open-world mobile manipulation (OWMM) タスクに取り組む新しいマルチモーダルエージェントアーキテクチャと、その専用基盤モデル OWMM-VLM を提案する。 - OWMM は、オープンエンドな指示・環境への汎化と、高レベル意思決定と低レベルロボット制御の統合という系統的複雑さから難易度が高いタスクである。 - 提案エージェントは、多視点シーンフレームとエージェント状態を保持して意思決定し、function calling でロボットを制御する。 - ドメインシフトによる hallucination を軽減するため、OWMM 向け agentic data synthesis pipeline を導入し、VLM を instruction fine-tuning で適応させる。 - OWMM-VLM は、global scene understanding、robot state tracking、multi-modal action generation を単一モデルで統合した、mobile manipulator 向け初の専用基盤モデ…

- 要旨では、navigation・manipulation・vision モデルの進展により mobile manipulator が多くの specialized tasks で有能になったと述べられている。 - しかし OWMM タスクは、オープンエンドな指示・環境への汎化と、高レベル意思決定と低レベル制御の統合の複雑さから依然として課題であるとされる。 - 提案手法は、この複雑さに対処するマルチモーダルエージェントアーキテクチャを導入する点が特徴である。 - さらに、OWMM-VLM を mobile manipulator 向け初の専用基盤モデルと位置づけ、global scene understanding・robot state tracking・multi-modal action generation を統一モデルで実現する点を強調している。 - 実験では GPT-4o を含む他の基盤モデルと比較して SOTA 性能を達成し、実世界で強い zero-shot 汎化を示したと報告されている。

- マルチモーダルエージェントアーキテクチャを採用し、多視点シーンフレームとエージェント状態を保持して意思決定を行う。 - ロボット制御は function calling を通じて実行する仕組みである。 - ドメインシフトによる hallucination への対策として、OWMM タスク向けの agentic data synthesis pipeline を導入する。 - このパイプラインで生成したデータを用い、VLM を instruction fine-tuning してタスクドメインに適応させる。 - 結果として OWMM-VLM は、global scene understanding、robot state tracking、multi-modal action generation を単一モデルに統合する。

- 実験により、提案モデルが他の基盤モデルと比較して SOTA 性能を達成することを示したと要旨に記載されている。 - 比較対象として GPT-4o を含む他の基盤モデルが挙げられている。 - 実世界において強い zero-shot 汎化を示したと報告されている。 - 具体的なタスク設定、評価指標、データセット、被験者数などの詳細は要旨からは不明。

- 要旨では、OWMM タスクの難しさとしてオープンエンドな指示・環境への汎化と、高レベル意思決定と低レベル制御の統合の複雑さが挙げられている。 - ドメインシフトによる hallucination が課題として明示され、agentic data synthesis pipeline と instruction fine-tuning で対処する方針が示されている。 - 実験結果として SOTA 性能と実世界での zero-shot 汎化が主張されているが、限界や失敗事例、計算コスト、安全性などの議論は要旨からは不明。

- 要旨で比較対象として明示されている GPT-4o を含む他の基盤モデルに関する研究。 - 要旨で言及されている navigation、manipulation、vision モデルの各分野の研究。 - OWMM タスクや mobile manipulation における VLM ベースのエージェント研究。 - instruction fine-tuning や agentic data synthesis に関する関連研究。 - 具体的な論文名は要旨からは不明。