空中ロボット/対話AI2026/1/1arXiv:2601.13801

HoverAI：自然な人とドローンのインタラクションを実現する身体性を備えた空中エージェント

HoverAI: An Embodied Aerial Agent for Natural Human-Drone Interaction

ドローンにレーザープロジェクタや会話AIを搭載し、音声・視覚で人を認識してリップシンク付きアバターで応答する、空間認識型の対話エージェントを開発した。

詳しい要約

1. どんなもの？

- ドローンと人間の自然な対話を実現するembodied aerial agent「HoverAI」を提案。 - ドローンの移動性、インフラ不要の視覚投影、リアルタイム会話AIを統合。 - MEMS laser projector、onboard semi-rigid screen、RGB cameraを搭載。 - 視覚と音声でユーザーを認識し、リップシンクしたアバターで応答。 - ユーザーのdemographicsに応じてアバターの外観を適応。

2. 先行研究と比べてどこがすごい？

- 従来のドローンは人間空間でのコミュニケーション機構が不十分で意図が不明確。 - HoverAIはドローン移動性、インフラ不要の視覚投影、会話AIを統合した初のプラットフォーム。 - 自己完結型の視覚出力と適応的会話AIを組み合わせ、空間認識・社会的応答性を持つembodied agentの新クラスを導入。

3. 技術・手法の肝は？

- マルチモーダルパイプライン：VAD、ASR（Whisper）、LLMベースの意図分類、RAGによる対話、顔分析によるパーソナライズ、音声合成（XTTS v2）。 - ハードウェア：MEMS laser projector、onboard semi-rigid screen、RGB camera。 - 視覚と音声でユーザーを認識し、リップシンクアバターで応答。

4. どうやって有効だと検証した？

- コマンド認識精度（F1: 0.90）、demographic推定（gender F1: 0.89、age MAE: 5.14 years）、音声転写（WER: 0.181）を評価。 - これらの指標で高い精度を実証。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてWhisper、XTTS v2、RAG、LLMベース意図分類が挙げられる。 - 同分野の定番としてhuman-drone interaction、embodied conversational agents、aerial roboticsの研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yuhua Jin, Nikita Kuzmin, Georgii Demianchuk, Mariya Lezina, Fawad Mehboob, Issatay Tokmurziyev, Miguel Altamirano Cabrera, Muhammad Ahsan Mustafa, Dzmitry Tsetserukou

分類: cs.RO

原文アブストラクト

Drones operating in human-occupied spaces suffer from insufficient communication mechanisms that create uncertainty about their intentions. We present HoverAI, an embodied aerial agent that integrates drone mobility, infrastructure-independent visual projection, and real-time conversational AI into a unified platform. Equipped with a MEMS laser projector, onboard semi-rigid screen, and RGB camera, HoverAI perceives users through vision and voice, responding via lip-synced avatars that adapt appearance to user demographics. The system employs a multimodal pipeline combining VAD, ASR (Whisper), LLM-based intent classification, RAG for dialogue, face analysis for personalization, and voice synthesis (XTTS v2). Evaluation demonstrates high accuracy in command recognition (F1: 0.90), demographic estimation (gender F1: 0.89, age MAE: 5.14 years), and speech transcription (WER: 0.181). By uniting aerial robotics with adaptive conversational AI and self-contained visual output, HoverAI introduces a new class of spatially-aware, socially responsive embodied agents for applications in guidance, assistance, and human-centered interaction.

arXivで原文を読む →arXiv概要ページ

← 論文一覧