日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動ロボット/人間認識ナビゲーションarXiv:2512.05270

XR-DT: 拡張現実強化デジタルツインによる人間認識型モデル予測パス積分制御を用いた安全な動作計画

XR-DT: Extended Reality-Enhanced Digital Twin for Safe Motion Planning via Human-Aware Model Predictive Path Integral Control

シェア:XThreadsFacebookLINEはてブBluesky

XRヘッドセットとUnityを統合したデジタルツインフレームワークXR-DTを構築し、人間の軌道予測モデルATLASと人間認識型MPPI制御を組み合わせて、人間と共存する移動ロボットの安全なナビゲーションを実現した。

詳しい要約

1. どんなもの?

- 本論文は XR-DT と名付けた、eXtended Reality (XR) 拡張の Digital Twin フレームワークを提案する。 - 物理空間と仮想空間を橋渡しし、人間とロボットの双方向理解を目指す。 - 対象は共有作業空間で人と協働する mobile robot。 - 階層型 XR-DT アーキテクチャは augmented-, virtual-, mixed-reality の各レイヤを統合する。 - リアルタイム sensor data、Unity game engine 上の simulated environment、wearable XR device 経由の human feedback を融合する。 - 新規の Human-Aware Model Predictive Path Integral (HA-MPPI) control model を設計する。 - MPPI ベースの motion planner に、egocentric human trajectory prediction 用の multi-modal Transforme…

2. 先行研究と比べてどこがすごい?

- 先行研究は human behavior prediction に多くの進展がある一方、人間がロボットの推論をどう知覚・解釈・信頼するか、また予測された人間行動に基づきロボットがどう安全かつ効率的に軌道計画するかへの注目は限定的だったと述べる。 - 本研究は XR と Digital Twin を組み合わせ、人間とロボットの双方向理解を実現する点を特徴とする。 - 具体的な既存手法との定量比較は要旨からは不明。

3. 技術・手法の肝は?

- 階層型 XR-DT アーキテクチャ: augmented-, virtual-, mixed-reality レイヤを統合する。 - リアルタイム sensor data、Unity game engine の simulated environment、wearable XR device からの human feedback を融合する。 - HA-MPPI: MPPI ベースの motion planner。 - ATLAS を組み込み、XR headset による egocentric な人間軌道予測を利用する。 - ATLAS は multi-modal Transformer で、Anticipatory Sensing を用いた Attention-based Trajectory Learning を行う。 - 人間行動・環境ダイナミクス・ロボットナビゲーションを XR-DT に埋め込み、解釈可能で信頼できる適応的な HRI を狙う。

4. どうやって有効だと検証した?

- 実世界での広範な実験を行ったと述べる。 - 結果として、正確な human trajectory prediction と、安全かつ効率的な robot navigation を示す。 - これにより XR-DT フレームワーク内での HA-MPPI の有効性を検証したとする。 - 具体的なデータセット・被験者数・評価指標は要旨からは不明。

5. 議論はある?

- 要旨は、人間行動・環境ダイナミクス・ロボットナビゲーションを XR-DT に埋め込むことで、解釈可能・信頼可能・適応的な HRI を可能にすると主張する。 - 限界や失敗事例、倫理面、XR 装着の負担などの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、本論文が基盤とする Model Predictive Path Integral (MPPI) control、multi-modal Transformer による trajectory prediction、Human-Robot Interaction (HRI) における trust/interpretability 研究、Digital Twin を用いたロボティクス研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Tianyi Wang, Jiseop Byeon, Ahmad Yehia, Yiming Xu, Jihyung Park, Tianyi Zeng, Sikai Chen, Ziran Wang, Junfeng Jiao, Christian Claudel

分類: cs.RO, cs.AI, cs.HC, cs.MA, cs.SY, eess.SY

原文アブストラクト

As mobile robots increasingly operate alongside humans in shared workspaces, ensuring safe, efficient, and interpretable Human-Robot Interaction (HRI) has become a pressing challenge. While substantial progress has been devoted to human behavior prediction, limited attention has been paid to how humans perceive, interpret, and trust robots' inferences and how robots plan safe and efficient trajectories based on predicted human behaviors. To address these challenges, this paper presents XR-DT, an eXtended Reality-enhanced Digital Twin framework for mobile robots, which bridges physical and virtual spaces to enable bi-directional understanding between humans and robots. Our hierarchical XR-DT architecture integrates augmented-, virtual-, and mixed-reality layers, fusing real-time sensor data, simulated environments in the Unity game engine, and human feedback captured through wearable XR devices. Within this framework, we design a novel Human-Aware Model Predictive Path Integral (HA-MPPI) control model, an MPPI-based motion planner that incorporates ATLAS (Attention-based Trajectory Learning with Anticipatory Sensing), a multi-modal Transformer model designed for egocentric human trajectory prediction via XR headsets. Extensive real-world experimental results demonstrate accurate human trajectory prediction, and safe and efficient robot navigation, validating the HA-MPPI's effectiveness within the XR-DT framework. By embedding human behavior, environmental dynamics, and robot navigation into the XR-DT framework, our system enables interpretable, trustworthy, and adaptive HRI.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI