NASA SUITS 2024報告：LLM駆動型没入型ARユーザーインターフェースによるロボティクスと宇宙探査
2024 NASA SUITS Report: LLM-Driven Immersive Augmented Reality User Interface for Robotics and Space Exploration
NASA SUITSチャレンジ向けに、HoloLensとLLM音声制御、ロボット追跡を統合した没入型ARシステムURSAを開発し、動的環境でのロボット遠隔操作を可能にした。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Kathy Zhuang, Zixun Huang, Yukun Song, Rui Li, Yinuo Zhou, Allen Y. Yang
分類: cs.RO, cs.HC
原文アブストラクト
As modern computing advances, new interaction paradigms have emerged, particularly in Augmented Reality (AR), which overlays virtual interfaces onto physical objects. This evolution poses challenges in machine perception, especially for tasks like 3D object pose estimation in complex, dynamic environments. Our project addresses critical issues in human-robot interaction within mobile AR, focusing on non-intrusive, spatially aware interfaces. We present URSA, an LLM-driven immersive AR system developed for NASA's 2023-2024 SUITS challenge, targeting future spaceflight needs such as the Artemis missions. URSA integrates three core technologies: a head-mounted AR device (e.g., HoloLens) for intuitive visual feedback, voice control powered by large language models for hands-free interaction, and robot tracking algorithms that enable accurate 3D localization in dynamic settings. To enhance precision, we leverage digital twin localization technologies, using datasets like DTTD-Mobile and specialized hardware such as the ZED2 camera for real-world tracking under noise and occlusion. Our system enables real-time robot control and monitoring via an AR interface, even in the absence of ground-truth sensors--vital for hazardous or remote operations. Key contributions include: (1) a non-intrusive AR interface with LLM-based voice input; (2) a ZED2-based dataset tailored for non-rigid robotic bodies; (3) a Local Mission Control Console (LMCC) for mission visualization; (4) a transformer-based 6DoF pose estimator (DTTDNet) optimized for depth fusion and real-time tracking; and (5) end-to-end integration for astronaut mission support. This work advances digital twin applications in robotics, offering scalable solutions for both aerospace and industrial domains.
関連論文
- 静的指示を超えて：適応型ARロボットトレーニングのためのマルチエージェントAIフレームワークAR/ヒューマンロボットインタラクション
- 拡張現実を用いた移動マニピュレータの表面補修計画の評価と修正AR/ヒューマンロボットインタラクション
- ARviz：ROSアプリケーション向け拡張現実可視化プラットフォームAR/ヒューマンロボットインタラクション
- 壁越しに見える：拡張現実で移動ロボットを可視化するAR/ヒューマンロボットインタラクション
- Microsoft Hololens上での移動ロボットナビゲーションデータの拡張現実可視化：可能性と限界AR/ヒューマンロボットインタラクション
