PISHYAR: 視覚障害者向けの社会的インテリジェントなスマート杖による屋内ソーシャルナビゲーションとマルチモーダルな人間-ロボットインタラクション
PISHYAR: A Socially Intelligent Smart Cane for Indoor Social Navigation and Multimodal Human-Robot Interaction for Visually Impaired People
視覚障害者支援のため、社会的配慮のあるナビゲーションとマルチモーダル対話を統合したスマート杖を開発し、シミュレーションと実環境で約80%の精度を達成した。
詳しい要約
1. どんなもの？
2. 先行研究と比べてどこがすごい？
3. 技術・手法の肝は？
4. どうやって有効だと検証した？
5. 議論はある？
6. 次に読むべき論文は？
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Mahdi Haghighat Joo, Maryam Karimi Jafari, Alireza Taheri
分類: cs.RO, cs.HC
原文アブストラクト
This paper presents PISHYAR, a socially intelligent smart cane designed by our group to combine socially aware navigation with multimodal human-AI interaction to support both physical mobility and interactive assistance. The system consists of two components: (1) a social navigation framework implemented on a Raspberry Pi 5 that integrates real-time RGB-D perception using an OAK-D Lite camera, YOLOv8-based object detection, COMPOSER-based collective activity recognition, D* Lite dynamic path planning, and haptic feedback via vibration motors for tasks such as locating a vacant seat; and (2) an agentic multimodal LLM-VLM interaction framework that integrates speech recognition, vision language models, large language models, and text-to-speech, with dynamic routing between voice-only and vision-only modes to enable natural voice-based communication, scene description, and object localization from visual input. The system is evaluated through a combination of simulation-based tests, real-world field experiments, and user-centered studies. Results from simulated and real indoor environments demonstrate reliable obstacle avoidance and socially compliant navigation, achieving an overall system accuracy of approximately 80% under different social conditions. Group activity recognition further shows robust performance across diverse crowd scenarios. In addition, a preliminary exploratory user study with eight visually impaired and low-vision participants evaluates the agentic interaction framework through structured tasks and a UTAUT-based questionnaire reveals high acceptance and positive perceptions of usability, trust, and perceived sociability during our experiments. The results highlight the potential of PISHYAR as a multimodal assistive mobility aid that extends beyond navigation to provide socially interactive support for such users.
関連論文
- RESONATE: 自律サービスロボットのための実環境ソーシャルナビゲーション評価ベンチマークソーシャルナビゲーション
- Arena 5.0: ソーシャルナビゲーション開発・評価のためのフォトリアリスティックなROS2シミュレーションフレームワークソーシャルナビゲーション
- LiDARから直接制御する安全なソーシャルナビゲーションのためのマルチタスク強化学習と確率的知覚ソーシャルナビゲーション
- インターネット動画から方策状態空間でソーシャルナビゲーションを学習ソーシャルナビゲーション
- どこに加わるべきか？言語誘導型目標予測によるロボットのグループ参加ソーシャルナビゲーション
- 障害物からエチケットへ：VLMに基づく経路選択によるロボットのソーシャルナビゲーションソーシャルナビゲーション
