EgoDyn-Bench：自動運転における視覚中心基盤モデルの自己運動理解の評価

自動運転向けの vision-centric foundation models が ego-motion を意味的に理解できるかを診断する benchmark『EgoDyn-Bench』を提案。 - 連続的な vehicle kinematics を deterministic oracle で離散的な motion concepts に写像し、モデルの内部物理ロジックと視覚知覚を切り離して評価。 - 20以上のモデル（closed-source MLLMs、複数規模の open-source VLMs、特化型 VLAs）を対象に大規模実証監査を実施。 - コード・データセット・プロジェクトページを公開。

VLM は自動運転の高レベル推論を進展させてきたが、ego-motion の物理への接地能力は未解明だった。 - 本研究は ego-motion 理解に特化した診断 benchmark を初めて提示し、意味論的評価を可能にした。 - 20以上のモデルを横断する大規模監査により、モデル規模やドメイン特化訓練を超えて持続する『Perception Bottleneck』を同定。 - 古典的な非学習幾何ベースラインにしばしば劣ることを示し、既存手法の構造的欠陥を明らかにした。

連続的な vehicle kinematics を deterministic oracle で離散的な motion concepts に変換し、物理ロジックと視覚知覚を分離して評価。 - 大規模実証監査：closed-source MLLMs、複数規模の open-source VLMs、特化型 VLAs を含む20以上のモデルを対象。 - 明示的な trajectory encodings を提供する介入実験を実施し、物理的一貫性の回復を検証。 - 視覚と言語の機能的 disentanglement を分析。

20以上のモデルを対象とした大規模実証監査により、Perception Bottleneck の存在を確認。 - モデル規模やドメイン特化訓練を超えて失敗が持続することを示した。 - 古典的な非学習幾何ベースラインとの比較で、しばしば劣ることを実証。 - 明示的な trajectory encodings の提供が全評価モデルで物理的一貫性を大幅に回復させることを確認。

Perception Bottleneck はモデル規模やドメイン特化訓練を超えて持続し、現在のアーキテクチャが視覚知覚と物理推論を結合する方法に構造的欠陥があることを示唆。 - 視覚と言語の機能的 disentanglement を明らかにし、ego-motion ロジックはほぼ言語モダリティから導出され、視覚観測の時間的寄与はごく僅かであると指摘。 - 標準化された診断フレームワークと、物理的に整合した embodied AI への実践的経路を提供。

要旨で参照/比較されている研究は明示されていない。 - 関連手法として、closed-source MLLMs、open-source VLMs、特化型 VLAs、古典的非学習幾何ベースラインが挙げられる。 - 同分野の定番として、autonomous driving 向け VLM や vision-centric foundation models の研究が次に読むべき候補。