親和性予測2026/3/1arXiv:2603.15558

パノラマ親和性予測

Panoramic Affordance Prediction

360度画像を用いた親和性予測の新タスクを提案し、大規模データセットPAP-12Kと訓練不要のパイプラインPAPを導入した。

詳しい要約

1. どんなもの？

- 360度画像を用いたPanoramic Affordance Predictionを初めて提案する研究。 - 広いFoVと全体文脈を活かし、embodied AIの知覚-行動の橋渡しを狙う。 - 大規模ベンチマークPAP-12Kを構築。 - 12k解像度(11904x5952)のpanoramic画像1,000枚以上。 - 12k以上のQAペアとaffordance maskを注釈。 - 学習不要のcoarse-to-fineパイプラインPAPを提案。

2. 先行研究と比べてどこがすごい？

- 既存のaffordance predictionはpinhole cameraモデルに限定。 - 狭いFoVと断片的観測で全体文脈を欠く。 - 本研究は360度画像でglobal spatial relationshipsとholistic scene understandingを実現。 - 標準perspective画像向け既存手法はpanoramic visionの課題で性能が大幅低下し失敗。 - PAPはその課題を克服し、SOTAベースラインを大きく上回る。

3. 技術・手法の肝は？

- 人間のfoveal visual systemに着想を得た学習不要のcoarse-to-fineパイプライン。 - 超高解像度とpanoramic画像の歪みに対処。 - 構成要素: - grid promptingによるrecursive visual routingで対象を段階的に特定。 - adaptive gaze mechanismで局所の幾何学的歪みを補正。 - cascaded grounding pipelineでinstance-level maskを精密抽出。

4. どうやって有効だと検証した？

- PAP-12K上で実験。 - 標準perspective画像向け既存affordance prediction手法がpanoramic visionの課題で性能劣化・失敗することを確認。 - PAPがこれらの障害を克服し、SOTAベースラインを有意に上回ることを示す。 - 詳細な評価指標や比較手法は要旨からは不明。

5. 議論はある？

- panoramic perceptionがrobust embodied intelligenceに大きな可能性を持つと主張。 - 既存手法がpanoramic設定で失敗する原因として、超高解像度と歪みの課題を指摘。 - 限界や今後の課題、計算コスト、汎化性などは要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: 標準perspective画像向けの既存affordance prediction手法、SOTAベースライン。 - 関連手法: pinhole cameraモデル、360度画像処理、embodied AI。 - 具体的な論文名は要旨からは不明。 - 同分野の定番としてaffordance prediction、panoramic vision、embodied AIの関連研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixin Zhang, Chenfei Liao, Hongfei Zhang, Harold Haodong Chen, Kanghao Chen, Zichen Wen, Litao Guo, Bin Ren, Xu Zheng, Yinchuan Li, Xuming Hu, Nicu Sebe, Ying-Cong Chen

分類: cs.CV, cs.RO

原文アブストラクト

Affordance prediction serves as a critical bridge between perception and action in embodied AI. However, existing research is confined to pinhole camera models, which suffer from narrow Fields of View (FoV) and fragmented observations, often missing critical holistic environmental context. In this paper, we present the first exploration into Panoramic Affordance Prediction, utilizing 360-degree imagery to capture global spatial relationships and holistic scene understanding. To facilitate this novel task, we first introduce PAP-12K, a large-scale benchmark dataset containing over 1,000 ultra-high-resolution (12k, 11904 x 5952) panoramic images with over 12k carefully annotated QA pairs and affordance masks. Furthermore, we propose PAP, a training-free, coarse-to-fine pipeline inspired by the human foveal visual system to tackle the ultra-high resolution and severe distortion inherent in panoramic images. PAP employs recursive visual routing via grid prompting to progressively locate targets, applies an adaptive gaze mechanism to rectify local geometric distortions, and utilizes a cascaded grounding pipeline to extract precise instance-level masks. Experimental results on PAP-12K reveal that existing affordance prediction methods designed for standard perspective images suffer severe performance degradation and fail due to the unique challenges of panoramic vision. In contrast, PAP framework effectively overcomes these obstacles, significantly outperforming state-of-the-art baselines and highlighting the immense potential of panoramic perception for robust embodied intelligence.

arXivで原文を読む →arXiv概要ページ

← 論文一覧