日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2507.10960

誰に応答すべきか? 多人数ソーシャルロボットインタラクションのためのTransformerベースモデル

Whom to Respond To? A Transformer-Based Model for Multi-Party Social Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

多人数環境でソーシャルロボットが誰にいつ応答すべきかを判断するTransformerベースのマルチタスク学習フレームワークを提案し、実世界の複雑さを捉えた新データセットで最先端性能を達成した。

詳しい要約

1. どんなもの?

- 複数人会話(multi-party interaction)におけるsocial robotの応答判断を扱う研究 - 誰に・いつ応答すべきかを決定する問題を対象 - Transformer-basedなmulti-task learning frameworkを提案 - 実世界の複雑さ(gaze misalignment等)を含む新規multi-party HRI datasetを構築

2. 先行研究と比べてどこがすごい?

- 従来のHRI研究はsingle-user interactionが中心で、応答のタイミングや相手を考慮していなかった - multi-party環境での応答判断において、既存のheuristic-based手法やsingle-task手法を上回るstate-of-the-art性能を達成 - 実世界の複雑さを捉えた新規データセットを構築した点も貢献

3. 技術・手法の肝は?

- Transformer-basedなmulti-task learning frameworkを採用 - HRIの特性を考慮した2つの新規loss functionを提案 - 1つはactive speakerに制約を課しscene modelingを改善するloss - もう1つはrobotに向けられた発話への応答選択を導くloss - これらにより応答のタイミングと相手の決定を改善

4. どうやって有効だと検証した?

- 構築した新規multi-party HRI datasetを用いて実験 - 応答判断(respond decisions)において既存のheuristic-based手法およびsingle-task手法と比較 - 提案モデルがstate-of-the-art性能を達成することを示した - 詳細な評価指標や実験設定は要旨からは不明

5. 議論はある?

- 社会的に知的なsocial robotの実現への貢献を主張 - 自然でcontext-awareなmulti-party interactionの可能性を示唆 - 限界や課題、倫理的議論については要旨からは不明

6. 次に読むべき論文は?

- 要旨で比較対象として言及されるheuristic-based手法およびsingle-task approachの関連研究 - multi-party HRIやsocial robotの応答判断に関する既存研究 - Transformer-based multi-task learningのHRI応用研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: He Zhu, Ryo Miyoshi, Yuki Okafuji

分類: cs.RO, cs.CV

原文アブストラクト

Prior human-robot interaction (HRI) research has primarily focused on single-user interactions, where robots do not need to consider the timing or recipient of their responses. However, in multi-party interactions, such as at malls and hospitals, social robots must understand the context and decide both when and to whom they should respond. In this paper, we propose a Transformer-based multi-task learning framework to improve the decision-making process of social robots, particularly in multi-user environments. Considering the characteristics of HRI, we propose two novel loss functions: one that enforces constraints on active speakers to improve scene modeling, and another that guides response selection towards utterances specifically directed at the robot. Additionally, we construct a novel multi-party HRI dataset that captures real-world complexities, such as gaze misalignment. Experimental results demonstrate that our model achieves state-of-the-art performance in respond decisions, outperforming existing heuristic-based and single-task approaches. Our findings contribute to the development of socially intelligent social robots capable of engaging in natural and context-aware multi-party interactions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI