日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ソーシャルロボット/視線制御arXiv:2602.11648

ソーシャルロボットにおける人間らしい視線行動:人間・非人間刺激を統合した深層学習アプローチ

Human-Like Gaze Behavior in Social Robots: A Deep Learning Approach Integrating Human and Non-Human Stimuli

シェア:XThreadsFacebookLINEはてブBluesky

会話や指差し、ドアの開閉、物の落下といった人間・非人間刺激に対する人間の視線データをVRで収集し、LSTMとTransformerで予測モデルを構築してロボットの視線行動を人間らしくする手法を提案した。

詳しい要約

1. どんなもの?

- 社会的ロボットの視線行動を人間らしくする研究。 - 人間と非人間刺激(会話、指差し、ドア開閉、物の落下)を含む社会的状況で、ロボットの視線を人間の視線に近づける。 - Unityで3Dアニメーションと360度実世界ビデオをシミュレートし、VRグラスで41名の視線データを収集。 - LSTMとTransformerで予測モデルを構築し、NAOロボットに実装。 - 275名の質問紙評価で高い満足度を確認。

2. 先行研究と比べてどこがすごい?

- 非人間刺激への視線応答を調査した点が新規。 - 従来研究では未探索の領域。 - 個人間の視線パターン差異があるにもかかわらず、既存手法より高精度。 - 非人間刺激を独自に考慮することで、先行文献に対する大きな優位性を提供。

3. 技術・手法の肝は?

- Unityで3Dアニメーションと360度実世界ビデオのシナリオをシミュレート。 - VRグラスで41名の参加者から視線方向データを収集。 - 前処理したデータでLSTMとTransformerの2つのニューラルネットワークを訓練し、個人の視線パターンに基づく予測モデルを構築。 - モデルをNAOロボットに展開。

4. どうやって有効だと検証した?

- アニメーションシナリオ:LSTM 67.6%、Transformer 70.4%の予測精度。 - 実世界シナリオ:LSTM 72%、Transformer 71.6%の精度。 - NAOロボットに展開し、275名の参加者による包括的質問紙で評価。 - 相互作用中の高い満足度を確認。

5. 議論はある?

- 個人間の視線パターン差異が存在するが、モデルは既存手法を上回る精度。 - 非人間刺激を独自に考慮した点が利点。 - 要旨からは、限界や議論の詳細は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 同分野の定番として、社会的ロボットの視線行動に関する研究(例:Admoni & Scassellati, 2017)や、LSTM/Transformerを用いた視線予測研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Faezeh Vahedi, Morteza Memari, Ramtin Tabatabaei, Alireza Taheri

分類: cs.RO, cs.HC

原文アブストラクト

Nonverbal behaviors, particularly gaze direction, play a crucial role in enhancing effective communication in social interactions. As social robots increasingly participate in these interactions, they must adapt their gaze based on human activities and remain receptive to all cues, whether human-generated or not, to ensure seamless and effective communication. This study aims to increase the similarity between robot and human gaze behavior across various social situations, including both human and non-human stimuli (e.g., conversations, pointing, door openings, and object drops). A key innovation in this study, is the investigation of gaze responses to non-human stimuli, a critical yet underexplored area in prior research. These scenarios, were simulated in the Unity software as a 3D animation and a 360-degree real-world video. Data on gaze directions from 41 participants were collected via virtual reality (VR) glasses. Preprocessed data, trained two neural networks-LSTM and Transformer-to build predictive models based on individuals' gaze patterns. In the animated scenario, the LSTM and Transformer models achieved prediction accuracies of 67.6% and 70.4%, respectively; In the real-world scenario, the LSTM and Transformer models achieved accuracies of 72% and 71.6%, respectively. Despite the gaze pattern differences among individuals, our models outperform existing approaches in accuracy while uniquely considering non-human stimuli, offering a significant advantage over previous literature. Furthermore, deployed on the NAO robot, the system was evaluated by 275 participants via a comprehensive questionnaire, with results demonstrating high satisfaction during interactions. This work advances social robotics by enabling robots to dynamically mimic human gaze behavior in complex social contexts.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI