日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

姿勢推定arXiv:2607.23755

DAP-Pose: 深い時間的整合と物理認識型クロスモーダルセンサ融合による頑健な姿勢推定

DAP-Pose: Deep Temporal Alignment and Physics-aware Cross-modal Sensor Fusion for Robust Pose Estimation

シェア:XThreadsFacebookLINEはてブBluesky

視覚・慣性・GNSSのマルチモーダルセンサを統合し、時間的非同期を潜在空間で整合させ、物理的制約を導入することで、複雑環境下でも頑健で高精度な姿勢推定を実現するエンドツーエンドモデルを提案した。

詳しい要約

1. どんなもの?

DAP-Poseは、自律走行車や移動ロボット向けに、視覚・慣性・GNSSのマルチモーダルセンサを用いたロバストな姿勢推定を行う統合エンドツーエンドモデルである。Bi-level Cross-modal Fusion (BCF)モジュールで相補的な意味・幾何学的運動手がかりを融合し、Deep Temporal Alignment (DTA)モジュールで非同期ストリームを潜在空間で整列させる。さらに、多様体幾何学とGNSSによる絶対メートルスケールを用いた物理的制約を導入し、ドリフトを軽減する。

2. 先行研究と比べてどこがすごい?

従来のマルチモーダル融合手法は、センサ間の時間的オフセットを厳密なハードウェア同期に依存していたが、DAP-PoseはDTAモジュールにより潜在空間で明示的に整列させ、同期なしでもコヒーレントな運動モデリングを可能にした点が新しい。また、物理的制約(多様体幾何学とGNSSスケール)を組み込むことで、ドリフトを軽減し、既存手法を上回る精度を達成している。

3. 技術・手法の肝は?

手法の肝は、1) Bi-level Cross-modal Fusion (BCF)モジュールで視覚・慣性・GNSSの意味的・幾何学的手がかりを階層的に融合すること、2) Deep Temporal Alignment (DTA)モジュールで非同期ストリームを潜在空間で整列させること、3) 多様体幾何学とGNSS誘導の絶対メートルスケールによる物理的制約を損失関数に組み込み、運動の一貫性を保証しドリフトを抑制することである。

4. どうやって有効だと検証した?

公開KITTIベンチマークデータセットを用いて、既存手法との比較実験を行った。その結果、平均並進誤差(t_rel)1.31%、回転誤差(r_rel)0.46°という最低値を達成し、最先端の性能を示した。さらに、人工的に深刻な時間的ミスアライメントを注入した条件下でも、正確な姿勢推定とロバスト性を維持することを確認した。

5. 議論はある?

要旨からは、提案手法の限界や特定の環境条件(例えば、GNSS信号が劣化する環境)での性能低下に関する議論は不明である。また、KITTIデータセットのみでの評価であり、他のデータセットや実世界の多様なシナリオでの汎用性については言及されていない。

6. 次に読むべき論文は?

要旨で参照されている既存手法や関連研究は明示されていないが、マルチモーダルセンサ融合による姿勢推定の分野では、Visual-Inertial Odometry (VIO)、Visual-Inertial-GNSS融合、および時間的アライメント手法(例えば、Deep Sensor Alignment)に関する論文が関連する。具体的には、VINS-Mono、ORB-SLAM3、またはGNSS融合を用いた研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianhan Lin, Yuchu Qin, Jiateng Yuan, Wenbo Zhang, Shuai Gao

分類: cs.CV, cs.RO

原文アブストラクト

Robust and accurate pose estimation with multi-modal sensors is fundamental for autonomous vehicles and mobile robotic systems in complex environments. In this paper, we propose DAP-Pose, a unified end-to-end model for robust multi-modal pose estimation. DAP-Pose introduces a Bi-level Cross-modal Fusion (BCF) module that captures complementary semantic and geometric motion cues from visual, inertial, and GNSS measurements. To handle temporal offsets, we designed a Deep Temporal Alignment (DTA) module that explicitly aligns asynchronous streams in latent space, enabling coherent motion modeling without strict hardware synchronization. Furthermore, we incorporate physics-aware constraints via manifold geometry and GNSS-guided absolute metric scale, enforcing motion consistency and mitigating drift. Experiments upon the public KITTI benchmark dataset were conducted to evaluate the performance of DAP-Pose against existing methods. DAP-Pose achieved the state-of-the-art performance, with the lowest average translation error ($t_{rel}$) of 1.31% and rotation error ($r_{rel}$) of 0.46$^{\circ}$. Furthermore, it accurately estimates poses and maintains robust performance under severe artificially injected temporal misalignment.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI