空中MLLMエージェントのゼロショットミッションレベル評価

MissionBenchは、空中3D環境におけるMLLMエージェントのミッションレベル評価のためのベンチマークである。120のミッションを5つのシミュレーション3D環境と4つのタスクファミリーにわたって提供し、エージェントは単一の高レベル指示から自律的に計画、ナビゲーション、結果報告を行う。エージェントは自己中心視点と行動履歴のみを使用し、空中特化のファインチューニングは行わない。22のオープンソースおよびクローズドソースMLLMを評価し、最強モデルでも成功率35%未満（人間は84.4%）であることを示す。

従来のベンチマークは個別の知覚タスクや短期的なナビゲーションに焦点を当てていたが、MissionBenchは長期的なミッションレベルのタスクを評価する点で新しい。また、MLLMを空中エージェントとしてゼロショットで評価する初のベンチマークであり、空間知覚だけでなく、多段階計画や適応的推論など複数の能力の統合を必要とする点を強調している。

MissionBenchは、5つのシミュレーション3D環境（例：屋内、屋外）と4つのタスクファミリー（例：探索、物体操作）を設計し、各ミッションは高レベル指示から始まる。エージェントは自己中心視点の画像と行動履歴を入力として、行動を出力する。評価はミッションの成功率で行われ、人間のパフォーマンスと比較する。モデルはゼロショットで使用され、空中特化の調整は行われない。

22のオープンソースおよびクローズドソースMLLMを評価し、最強モデルでも成功率35%未満であることを示した。人間のパフォーマンスは84.4%であり、大きなギャップがある。また、モデルスケーリングによる性能向上を観察し、大規模モデルほどゼロショットの身体化能力が高いことを示した。

要旨からは、モデルファミリー間のばらつきが大きいこと、スケーリングによる改善が見られる一方で、ミッションレベルの能力には空間知覚以外の複数の能力の調整が必要であることが議論されている。また、クローズドループ評価の重要性が強調され、スケーリングによる改善が身体化AIにとって有望である一方、リスクも伴うと指摘している。

要旨で参照されている関連研究は明示されていないが、MLLMエージェントの評価や身体化AIに関する研究が考えられる。具体的には、MLLMを用いたナビゲーションや操作タスクのベンチマーク（例：ALFRED、Habitat）や、ゼロショット身体化能力に関する研究が関連する。