OmniEVA: タスク適応型3Dグラウンディングと身体性考慮推論による汎用エンボディドプランナー

- OmniEVAは、MLLMを基盤としたembodied versatile planner。 - 多様なembodiedタスクに対し、embodied reasoningとtask planningを行うシステム。 - 2つの課題(Geometric Adaptability GapとEmbodiment Constraint Gap)の解決を狙う。 - 3D情報の選択的融合と、実機の身体制約を考慮した計画生成を特徴とする。

- 従来の2D入力のみのモデルは空間情報が不足し、hard-codedな3D geometry injectionは2D汎化を制限していた。 - OmniEVAはTask-Adaptive 3D Groundingにより、タスク要求に応じて3D融合を選択的に制御し、多様な空間要求への適応性を高める。 - 従来研究は実ロボットの物理制約や能力を軽視し、理論上有効でも実行不可能な計画を生成しがちだった。 - OmniEVAはEmbodiment-Aware Reasoningで身体制約を推論ループに組み込み、実行可能な計画を目指す。 - 実験でstate-of-the-artのgeneral embodied reasoning性能と広範な下流シナリオへの適用性を示す。

- Task-Adaptive 3D Grounding機構を導入。 - gated routerにより、文脈的要求に基づき3D fusionを明示的に選択制御。 - context-awareな3D groundingを多様なembodiedタスクで実現。 - Embodiment-Aware Reasoningフレームワークを導入。 - タスク目標とembodiment constraintsを推論ループに同時に組み込む。 - goal-directedかつexecutableなplanning decisionsを生成。 - 詳細なアーキテクチャや学習手順は要旨からは不明。

- 広範な実験により、state-of-the-artのgeneral embodied reasoning性能を示した。 - 多様な下流シナリオでの強い能力を確認。 - primitive taskとcomposite taskの両方を含む、提案されたembodied benchmarks群で評価。 - 堅牢かつ多用途なplanning能力を確認したと述べる。 - 具体的なベースラインや指標は要旨からは不明。

- Geometric Adaptability GapとEmbodiment Constraint Gapという2つの限界を明示的に議論。 - 2D汎化と3D空間情報のトレードオフをgated routerで扱う点が議論の中心。 - 実ロボットの物理制約を計画に反映する重要性を指摘。 - 具体的な限界や失敗事例、計算コスト、実機展開の議論は要旨からは不明。

- MLLMベースのembodied plannerに関する研究(具体名は要旨からは不明)。 - hard-coded 3D geometry injectionを用いる手法(具体名は要旨からは不明)。 - 2D入力のみで学習するembodied MLLM(具体名は要旨からは不明)。 - 関連手法として、embodied task planning、3D grounding、embodiment-aware reasoningの代表的文献を参照するとよい(具体名は要旨からは不明)。