EmbodiedBrain: 具現化知能のためのタスクプランニング性能の限界を拡張する

- 本論文は Embodied AI agent 向けの新規 vision-language foundation model「EmbodiedBrain」を提案するもの。 - 7B と 32B の2サイズで提供。 - 目的は物理環境での robust な spatial perception、task planning、adaptive execution を支える基盤モデルの実現。 - AGI 実現には Embodied AI agent が不可欠との立場から、LLM/MLLM の embodied タスクへの適用課題に取り組む。 - データ・モデル重み・評価手法をすべて open-source 化。

- 既存の LLM/MLLM による embodied タスクには次の限界があると指摘。 - モデル設計と agent 要件の大きなギャップ。 - リアルタイム latency と性能の避けられない trade-off。 - 真正でない offline 評価指標の使用。 - これに対し EmbodiedBrain は agent-aligned なデータ構造と SFT + Step-GRPO の訓練法で long-horizon タスク成功率を向上。 - 全指標で superior な性能を示し、embodied foundation model の新たな state-of-the-art を確立したと主張。

- agent-aligned なデータ構造を採用。 - 大規模 Supervised Fine-Tuning (SFT) と Step-Augmented Group Relative Policy Optimization (Step-GRPO) を統合した訓練法。 - Step-GRPO は preceding steps を Guided Precursors として取り込み、long-horizon タスク成功を押し上げる。 - 包括的 reward system を導入。 - Generative Reward Model (GRM) を infrastructure レベルで加速し、訓練効率を改善。 - 7B/32B の vision-language foundation model として構築。

- General、Planning、End-to-End Simulation Benchmarks の3部構成の評価体系を構築。 - 新規で challenging な simulation environment を提案し open-source 化。 - 実験結果として全指標で superior な性能を示し、embodied foundation model の新 SOTA を達成したと報告。 - 詳細なベースラインや数値は要旨からは不明。

- 既存評価の「offline で真正でない指標」問題を提起し、3部構成の評価体系と新 simulation environment で対処。 - latency と性能の trade-off を課題として明示。 - 具体的な限界・失敗事例・計算コストの議論は要旨からは不明。

- 本論文で統合された Supervised Fine-Tuning (SFT) と Step-Augmented Group Relative Policy Optimization (Step-GRPO)。 - Guided Precursors の考え方。 - Generative Reward Model (GRM)。 - 比較対象として明示された個別研究は要旨からは不明。 - 同分野の定番として embodied 向け MLLM ベースの task planning 研究や vision-language navigation 系の研究を参照するとよい。