日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

軌道予測arXiv:2610.33916

Bi-MambaによるRGB-Dからの移動ロボット向けリアルタイム人物軌道予測

Real-Time Human Trajectory Prediction from RGB-D for Mobile Robots Using Bi-Mamba

シェア:XThreadsFacebookLINEはてブBluesky

RGB-Dカメラから人物の短期未来軌道を予測する軽量な双方向状態空間モデルTrajMambaを提案し、学習と実機推論の処理経路を統一してノイズ耐性を高め、TIAGoロボット上でリアルタイム動作を実現した。

詳しい要約

1. どんなもの?

- RGB-D カメラから人物の短期未来軌道を予測する軽量モデル TrajMamba を提案 - 移動ロボットが動的で人混みのある環境を航行するための予測器 - 双方向 state space model (Mamba) を中核に据えた軌道予測手法 - 学習と実機展開で同一の処理パイプラインを共有する設計 - TIAGo ロボットの NVIDIA Jetson Orin 上に実装しリアルタイム動作

2. 先行研究と比べてどこがすごい?

- 既存の RNN 系は短期の時間依存を捉えにくく、transformer 系は計算コストが高い - 本手法は双方向 Mamba ブロックで短期依存を扱いつつ軽量性を確保 - 262K パラメータという小さな規模でリアルタイム動作を実現 - 学習時と推論時の入力分布のずれ (train-deploy pipeline gap) を単一の共有処理経路で緩和 - ETH/UCY benchmark で平均 ADE 0.29 m、FDE 0.51 m を達成

3. 技術・手法の肝は?

- 人物の hip center の速度を短い時間窓で入力としてエンコード - 積み重ねた双方向 Mamba ブロックで時系列を符号化 - 未来の速度を GRU head でデコードする構成 - 学習と展開で同一の単一共有処理経路を使用 - その経路内で human pose extraction、depth back projection、smoothing を整合させる - RGB-D カメラからの入力を前提とした軽量パイプライン

4. どうやって有効だと検証した?

- ETH/UCY benchmark 上で評価し、平均 ADE 0.29 m、FDE 0.51 m を報告 - 262K パラメータで modest hardware 上でのリアルタイム動作を確認 - TIAGo ロボットに搭載し、オンボードの NVIDIA Jetson Orin で展開 - 実機展開による検証を実施(詳細な比較条件は要旨からは不明)

5. 議論はある?

- train-deploy pipeline gap が実機展開上の主要課題であると指摘 - 学習データの理想化・平滑化された ground truth と、推論時の pose detector や depth sensor 由来のノイズを含む推定値の乖離を議論 - RNN と transformer の短期依存捕捉や計算コストの限界を動機として議論 - 具体的な限界や失敗事例、アブレーションの議論は要旨からは不明

6. 次に読むべき論文は?

- Mamba (state space model) に関する原論文 - 比較対象として言及される RNN 系・transformer 系の軌道予測手法 - ETH/UCY benchmark を用いた軌道予測の代表的研究 - RGB-D を用いた human pose extraction および depth back projection の関連研究 - 実機展開を扱う mobile robot 向け軌道予測の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Basheer Al-Tawil, Magnus Jung, Ayoub Al-Hamadi

分類: cs.RO, cs.LG

原文アブストラクト

Predicting the short-term future trajectory of a person from RGB-D cameras is a key capability for mobile robots navigating in dynamic and human populated environment. The key challenge to deploying learned predictors on real robots is the train-deploy pipeline gap. Training data are often prepared with an idealized, smoothed ground truth, whereas at inference, the model is fed noisy estimates from pose detectors and depth sensors. The model is therefore evaluated on an input distribution it never encountered during training. Most existing models rely on recurrent neural networks (RNNs) or transformers, which either struggle to capture short-term temporal dependencies or suffer from computational cost. We present TrajMamba, a lightweight, bidirectional state space model for short-term human trajectory prediction using an RGB-D camera. The model uses a single shared processing path for both training and deployment, aligning human pose extraction, depth back projection, and smoothing processes. It encodes a short window of persons's hip center velocities with stacked bidirectional Mamba blocks and decodes future velocities with a GRU head. On the ETH/UCY benchmark, TrajMamba reaches an average ADE of 0.29 m FDE of 0.51 m. With 262K parameters, it runs in real time on modest hardware and is deployed on a TIAGo robot with an onboard NVIDIA Jetson Orin.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI