基盤モデルは段階的な身体性推論においてどれほど優れているか？

- 本論文は、LMM（Large Multimodal Models）が実世界のembodied環境で段階的推論（step-by-step reasoning）をどれだけ遂行できるかを評価するベンチマーク「FoMER（Foundation Model Embodied Reasoning）」を提案する。 - 対象は、multimodal観測を解釈し、物理的制約や安全性を考慮し、自然言語で妥当な次行動を生成する能力。 - 1.1k以上のサンプル、10タスク、8 embodiments（3種類のロボットを含む）からなる大規模キュレーション済みスイート。 - 知覚的groundingとaction reasoningを分離する新規評価フレームワークを含む。

- 先行研究ではLMMの視覚理解や言語生成の能力は示されているが、実世界embodiedタスクにおける構造的推論能力は十分に検討されていなかった。 - 本研究は、embodied環境でのstep-by-step reasoningに焦点を当てたベンチマークを構築した点が新しい。 - 知覚的groundingとaction reasoningを切り分けて評価する枠組みを導入している点が先行研究との差異。 - 複数のembodimentsやロボットタイプを横断する大規模な評価セットを提示している。

- FoMERベンチマークを構築し、multimodal観測の解釈、物理制約・安全性の推論、自然言語での次行動生成を要求するタスク群を設計。 - 10タスク・8 embodiments・3種類のロボットタイプを含み、1.1k以上のサンプルに詳細なstep-by-step reasoningを付与。 - 知覚的groundingとaction reasoningを分離（disentangle）する新規評価フレームワークを提案。 - 複数の主要LMMに対してこの設定下で実証的分析を実施。

- 提案ベンチマーク上で複数の主要LMMを評価し、embodied reasoningにおける能力と限界を実証的に分析。 - 知覚的groundingとaction reasoningを分離した評価フレームワークにより、各能力を切り分けて検証。 - 1.1k以上のサンプル、10タスク、8 embodiments、3種類のロボットタイプにわたる評価を実施。 - 具体的な評価指標やスコアの詳細は要旨からは不明。

- 結果はLMMのembodied reasoningにおける可能性と現時点の限界の両方を示している。 - robot intelligenceの今後の研究に向けた主要な課題と機会を指摘。 - 具体的な失敗要因やタスク別の傾向、安全性推論の詳細な議論は要旨からは不明。 - データとコードは公開予定とされている。

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、LMM（Large Multimodal Models）全般、embodied agents、visual understanding、language generationに関する研究が挙げられる。 - 同分野の定番として、embodied AIベンチマーク（例：ALFRED、Habitat、RT-1/RT-2系のvision-language-action研究）や、LMMの推論評価に関する研究を次に読む候補として検討できる。