PanoAffordanceNet:360度屋内環境における全体的アフォーダンス接地に向けて
PanoAffordanceNet: Towards Holistic Affordance Grounding in 360{\deg} Indoor Environments
360度パノラマ画像から物体のアフォーダンス(行動可能性)をシーン全体で推定する新タスクを提案し、歪み補正と球面稠密化を組み込んだエンドツーエンドモデルと初のデータセットを構築した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Guoliang Zhu, Wanjun Jia, Caoyang Shao, Yuheng Zhang, Zhiyong Li, Kailun Yang
分類: cs.CV, cs.RO, eess.IV
原文アブストラクト
Global perception is essential for embodied agents in 360{\deg} spaces, yet current affordance grounding remains largely object-centric and restricted to perspective views. To bridge this gap, we introduce a novel task: Holistic Affordance Grounding in 360{\deg} Indoor Environments. This task faces unique challenges, including severe geometric distortions from Equirectangular Projection (ERP), semantic dispersion, and cross-scale alignment difficulties. We propose PanoAffordanceNet, an end-to-end framework featuring a Distortion-Aware Spectral Modulator (DASM) for latitude-dependent calibration and an Omni-Spherical Densification Head (OSDH) to restore topological continuity from sparse activations. By integrating multi-level constraints comprising pixel-wise, distributional, and region-text contrastive objectives, our framework effectively suppresses semantic drift under low supervision. Furthermore, we construct 360-AGD, the first high-quality panoramic affordance grounding dataset. Extensive experiments demonstrate that PanoAffordanceNet significantly outperforms existing methods, establishing a solid baseline for scene-level perception in embodied intelligence. The source code and benchmark dataset will be made publicly available at https://github.com/GL-ZHU925/PanoAffordanceNet.
関連論文
- 候補領域の確認によるアフォーダンス接地アフォーダンス接地
- アフォーダンスエージェントハーネス:検証ゲートによるスキルオーケストレーションアフォーダンス接地
