SceneTeract: 3Dシーンにおけるエージェント機能アフォーダンスとVLMの接地

- 3Dシーンの機能的affordanceをエージェント固有の制約下で検証するフレームワークSceneTeractを提案。 - 高レベルな意味推論と低レベルな幾何チェックを結合したgrounded verification engineが中核。 - 複雑な活動をatomic actionsに分解し、embodied agent profileに基づきaccessibility要件を検証。 - 合成屋内環境の評価とVLMのaffordance予測能力の評価に適用。 - VLM post-trainingのreward engineとしても利用し、検証スイートとデータを公開。

- 従来の3Dシーン理解は知覚や意味理解に偏り、物理的実現可能性の検証が不足。 - SceneTeractは意味推論と幾何検証を統合し、エージェント固有の制約下で機能を検証。 - 合成環境の機能不全を頻繁に発見し、最先端VLMでも意味的信頼度と物理的実現可能性に系統的ミスマッチがあることを示す。 - 検証エンジンをVLMのpost-trainingに活用する点が新しい。

- 複雑な活動をatomic actionsの系列に分解。 - 各ステップをaccessibility要件（reachability, clearance, navigabilityなど）に照らして検証。 - embodied agent profileに条件付け、明示的な物理・幾何シミュレーションを実行。 - 高レベルなsemantic reasoningと低レベルなgeometric checksを結合したgrounded verification engine。

- 合成屋内環境に対してSceneTeractを適用し、基本的なinteractionを妨げる機能不全を頻繁に発見。 - 最先端VLMのfunctional affordance推論・予測能力を評価し、意味的信頼度と物理的実現可能性の系統的ミスマッチを明らかにした。 - 検証エンジンをreward engineとしてVLM post-trainingに用い、幾何制約を推論モデルに蒸留可能なことを示した。

- 合成屋内環境における機能不全の頻度や性質について議論。 - 最先端VLMでも意味的自信と物理的実現可能性が一致しない問題を指摘。 - 検証エンジンをrewardとして使うことで、幾何制約をスケーラブルに蒸留できる可能性を示す。 - 具体的な限界や今後の課題は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVision-Language Models (VLMs)、embodied AI、3D scene understanding、functional affordance、grounded verification、reward engine、post-trainingが挙げられる。 - 同分野の定番として3Dシーングラフやaffordance learning、embodied navigationの研究が考えられるが、要旨からは特定できない。