日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

アフォーダンス接地arXiv:2603.09760

PanoAffordanceNet:360度屋内環境における全体的アフォーダンス接地に向けて

PanoAffordanceNet: Towards Holistic Affordance Grounding in 360{\deg} Indoor Environments

シェア:XThreadsFacebookLINEはてブBluesky

360度パノラマ画像から物体のアフォーダンス(行動可能性)をシーン全体で推定する新タスクを提案し、歪み補正と球面稠密化を組み込んだエンドツーエンドモデルと初のデータセットを構築した。

詳しい要約

1. どんなもの?

- 360°屋内環境におけるHolistic Affordance Groundingという新タスクを提案 - 従来のobject-centricかつperspective viewに限定されたaffordance groundingを拡張 - 全天球画像のERPによる幾何歪み、意味的分散、cross-scale alignmentの課題に対処 - PanoAffordanceNetというend-to-endフレームワークを提案 - 360-AGDという最初の高品質panoramic affordance groundingデータセットを構築

2. 先行研究と比べてどこがすごい?

- 従来のaffordance groundingはobject-centricでperspective viewに限定 - 本手法は360°屋内環境でのholisticなaffordance groundingを実現 - ERPの歪みや意味的分散など特有の課題に対処 - 既存手法を大幅に上回る性能を達成 - 具現化知能におけるscene-level perceptionの強固なbaselineを確立

3. 技術・手法の肝は?

- Distortion-Aware Spectral Modulator (DASM)による緯度依存のキャリブレーション - Omni-Spherical Densification Head (OSDH)で疎な活性化からトポロジカル連続性を復元 - pixel-wise、distributional、region-text contrastive objectivesからなる多レベル制約を統合 - 低監督下での意味的ドリフトを抑制 - end-to-endフレームワークとして設計

4. どうやって有効だと検証した?

- 360-AGDデータセットを構築し実験に使用 - 広範な実験によりPanoAffordanceNetが既存手法を大幅に上回ることを実証 - 具体的な評価指標や比較手法の詳細は要旨からは不明 - ソースコードとベンチマークデータセットを公開予定

5. 議論はある?

- 360°屋内環境におけるholistic affordance groundingの新タスクを提示 - ERPの幾何歪み、意味的分散、cross-scale alignmentの課題を指摘 - 低監督下での意味的ドリフト抑制の重要性を議論 - 具体的な限界や今後の課題については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 関連手法としてaffordance grounding、360°画像処理、ERP、embodied intelligenceの定番研究が挙げられる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Guoliang Zhu, Wanjun Jia, Caoyang Shao, Yuheng Zhang, Zhiyong Li, Kailun Yang

分類: cs.CV, cs.RO, eess.IV

原文アブストラクト

Global perception is essential for embodied agents in 360{\deg} spaces, yet current affordance grounding remains largely object-centric and restricted to perspective views. To bridge this gap, we introduce a novel task: Holistic Affordance Grounding in 360{\deg} Indoor Environments. This task faces unique challenges, including severe geometric distortions from Equirectangular Projection (ERP), semantic dispersion, and cross-scale alignment difficulties. We propose PanoAffordanceNet, an end-to-end framework featuring a Distortion-Aware Spectral Modulator (DASM) for latitude-dependent calibration and an Omni-Spherical Densification Head (OSDH) to restore topological continuity from sparse activations. By integrating multi-level constraints comprising pixel-wise, distributional, and region-text contrastive objectives, our framework effectively suppresses semantic drift under low supervision. Furthermore, we construct 360-AGD, the first high-quality panoramic affordance grounding dataset. Extensive experiments demonstrate that PanoAffordanceNet significantly outperforms existing methods, establishing a solid baseline for scene-level perception in embodied intelligence. The source code and benchmark dataset will be made publicly available at https://github.com/GL-ZHU925/PanoAffordanceNet.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI