日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ナビゲーションarXiv:2607.06165

全方位における身体化推論のためのEAGOR

EAGOR: Embodied Reasoning in Omni-direction

シェア:XThreadsFacebookLINEはてブBluesky

360度カメラを用いた身体化エージェントの方向推論を、球面調和関数によるベイズ推定として定式化し、学習不要でカメラ回転に不変な方向推定を実現するフレームワークを提案した。

詳しい要約

1. どんなもの?

EAGORは、全方位(360°)カメラを用いた身体化エージェントのための、訓練不要で幾何学的に一貫した方向推論フレームワークである。従来のVision Language Models (VLMs)が360°観測を2Dのequirectangular projection (ERP)画像に投影して処理するのに対し、EAGORは球面上での再帰的ベイズ推定として方向推論を定式化する。球面調和関数に基づくSpherical Harmonic Belief Field (SH-BF)を導入し、エージェントの動きによるカメラ視点変換に対して等変に信念を伝播させる。これにより、ERPのシーム断絶や緯度歪み、補間誤差を排除し、ナビゲーションや物体探索などのタスクでロバストな方向推定を実現する。

2. 先行研究と比べてどこがすごい?

先行研究のVLMsは360°観測をERP画像に投影し、透視画像用のアーキテクチャで処理するため、球面の性質を無視している。その結果、エージェントの動きによるカメラ視点変換に対して方向推定が不整合になる。特にマップフリーナビゲーションでは、エージェントの自己中心座標系で目標方向を連続的に推定する必要があるが、従来手法はこの点で限界があった。EAGORは、方向予測をERP画像座標ではなく球面上の連続的な信念として扱い、訓練なしでバックボーンVLMを変更せずに等変な伝播を実現する点が新しい。

3. 技術・手法の肝は?

EAGORの核心は、方向推論を球面上の再帰的ベイズ推定として定式化し、Spherical Harmonic Belief Field (SH-BF)を用いて信念を表現することである。SH-BFは球面調和関数表現により、球面多様体上で大域的に定義された回転不変な基底を提供する。エージェントの運動による視点変換は、球面調和関数の回転として扱われ、信念を等変に更新する。これにより、ERPのシーム断絶、緯度歪み、補間誤差を回避する。バックボーンVLMは訓練不要で、幾何学的な伝播のみで方向推定の一貫性を保つ。

4. どうやって有効だと検証した?

EAGORは、2つのベンチマークデータセット(HOSとOSR-Bench)と、脚式ロボットを用いた実世界実験で評価された。方向推論タスクにおいて、HOSで平均相対利得+34.4%、OSR-Benchで+45.6%を達成し、既存手法を一貫して上回った。また、ナビゲーションタスクでは、ナビゲーション成功率を+14.6%向上させ、ステップ数を17.7%削減し、平均角度誤差を24.5%低減した。

5. 議論はある?

要旨からは、EAGORの限界や議論についての詳細は不明である。ただし、訓練不要であるため、バックボーンVLMの性能に依存する可能性や、球面調和関数の次数選択が性能に影響する可能性が考えられるが、要旨には明記されていない。また、実世界実験の詳細や、他のタスクへの一般化についても要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、HOSとOSR-Benchのベンチマークを提案した論文や、既存の360°VLM手法(ERP画像を用いた方向推論)が挙げられる。また、球面調和関数を用いた幾何学的推論や、マップフリーナビゲーションに関する研究も関連する。具体的な論文名は要旨にないため、同分野の定番として、'Vision Language Models for Navigation'や'Omnidirectional Vision for Robotics'などの一般名で示す。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shriram Damodaran, Soumyaratna Debnath, Yan Wu, Wei-Yun Yau, Addison Lin Wang

分類: cs.RO

原文アブストラクト

Omni-directional (360{\deg}) cameras provide embodied agents with a holistic view of their surroundings, making them suited for directional reasoning in tasks such as navigation and object search. Existing Vision Language Models (VLMs) project 360{\deg} observations to 2D equirectangular projection (ERP) images and process them using architectures designed for perspective images. However, they ignore the spherical nature of 360{\deg} observations, where each pixel represents a viewing direction relative to the agent. Consequently, their direction estimates often become inconsistent under camera view transformations caused by agent motion. This limitation is particularly critical for map-free navigation, where the agent must continuously estimate the target direction in its egocentric frame. We propose EAGOR, a training-free, geometry-aware framework for embodied 360{\deg} directional reasoning. Instead of predicting target directions as ERP image coordinates, EAGOR formulates directional reasoning as recursive Bayesian estimation directly on the sphere. It maintains a continuous belief over target directions and propagates it equivariantly under agent motion without training the backbone VLMs. To achieve this, we introduce the Spherical Harmonic Belief Field (SH-BF), whose spherical harmonic representation provides a globally defined, rotation-aware basis for directional estimation on the spherical manifold. This formulation eliminates ERP seam discontinuities, latitude distortions, and interpolation errors. We evaluate EAGOR on two benchmark datasets and real-world experiments with a legged robot across directional reasoning tasks. EAGOR consistently outperforms existing methods, achieving average relative gains of +34.4% and +45.6% on HOS and OSR-Bench, respectively, while improving navigation success by +14.6%, reducing step count by 17.7%, and lowering mean angular error by 24.5%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI