日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセット/軌道予測arXiv:2605.19004

EgoTraj: 実世界の自己中心視点による人間軌道予測のためのマルチモーダルデータセット

EgoTraj: Real-World Egocentric Human Trajectory Dataset for Multimodal Prediction

シェア:XThreadsFacebookLINEはてブBluesky

自己中心視点での人間の軌道予測を目的とした、実世界の都市環境で収集したマルチモーダルデータセットEgoTrajを提案し、視線・シーン・動きの手がかりの寄与を分析した。

詳しい要約

1. どんなもの?

- EgoTrajは、Meta Quest Pro (MQPro) を用いて実世界の都市環境で収集された、egocentricな人間軌道のマルチモーダルオープンデータセット。 - 複数のMQPro装着者から得た75のナビゲーションシーケンスを含む。 - 各記録には、同期されたRGBビデオ、連続的な時間同期6自由度ヘッドポーズ、フレームごとの3D視線ベクトル、シーンアノテーションが含まれる。 - 人間型ロボティクス、ウェアラブルセンシング、支援ナビゲーションへの応用を想定。

2. 先行研究と比べてどこがすごい?

- 典型的なegocentric軌道データセットと異なり、多様な都市ルートにおける長期的・自己主導型ナビゲーションを、幅広い参加者多様性で捉えている点が特徴。 - 実世界環境で収集されたegocentric軌道データセットの不足という課題に対応。 - 視線・シーン・動きの手がかりを含むマルチモーダル性が先行研究と比べて優位。

3. 技術・手法の肝は?

- Meta Quest Pro (MQPro) を使用して、実世界の都市環境でegocentricデータを収集。 - RGBビデオ、6自由度ヘッドポーズ、3D視線ベクトル、シーンアノテーションを同期して記録。 - データセットを活用し、egocentric軌道予測のための最先端手法をベンチマーク。 - 視線、シーン、動きの各手がかりの寄与を分析するアブレーション研究を実施。

4. どうやって有効だと検証した?

- データセットの可能性を示すため、egocentric軌道予測の複数の最先端手法をベンチマーク。 - 視線、シーン、動きの手がかりの貢献を分析するアブレーション研究を実施。 - 結果は、ARベースの知覚、ナビゲーション、支援システムへの有用性を強調。

5. 議論はある?

- 要旨からは、データセットの限界や議論の詳細は不明。 - ただし、結果がARベースの知覚、ナビゲーション、支援システムへの有用性を示すと述べられている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている具体的な研究は明記されていない。 - 同分野の定番として、egocentric trajectory predictionやmultimodal predictionに関する研究が挙げられる。 - データセットとコードは https://github.com/yehiahmad/EgoTraj で公開。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahmad Yehia, Abduallah Mohamed, Tianyi Wang, Jiseop Byeon, Kun Qian, Junfeng Jiao, Christian Claudel

分類: cs.CV, cs.LG, cs.RO

原文アブストラクト

Accurately forecasting human trajectories from an egocentric perspective plays a central role in applications such as humanoid robotics, wearable sensing systems, and assistive navigation. However, progress in this direction remains limited due to the scarcity of egocentric trajectory datasets collected in real-world environments. Addressing this need, we introduce EgoTraj, an egocentric multimodal open dataset recorded using Meta Quest Pro (MQPro). EgoTraj contains 75 sequences of human navigation collected from multiple MQPro wearers in real-world urban environments. Each recording provides synchronized RGB video along with ground-truth data, including continuous time-synchronized 6-degree-of-freedom head poses, per-frame 3D eye gaze vectors, scene annotations. To the best of our knowledge, EgoTraj differs from typical egocentric trajectory datasets by capturing long-horizon, self-directed navigation across diverse urban routes with broad participant diversity. To demonstrate the potential of the dataset, we benchmark several state-of-the-art methods for egocentric trajectory prediction and conduct ablation studies to analyze the contributions of gaze, scene, and motion cues. The results highlight the utility of EgoTraj for AR-based perception, navigation, and assistive systems. The EgoTraj dataset, code, and EgoViz Dashboard are publicly available at https://github.com/yehiahmad/EgoTraj.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI