人間と複数エージェントの相互作用のためのマルチモーダルフレームワーク
A Multimodal Framework for Human-Multi-Agent Interaction
各ロボットが自律的な認知エージェントとして動作し、マルチモーダル知覚とLLM駆動の計画を統合した、人間と複数ロボットの相互作用のためのフレームワークを提案した。中央調整機構によりターン制御と参加管理を行い、2台のヒューマノイドロボットで実装して、音声・ジェスチャ・視線・移動を組み合わせた協調的な相互作用を実現した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Shaid Hasan, Breenice Lee, Sujan Sarker, Tariq Iqbal
分類: cs.RO, cs.AI
原文アブストラクト
Human-robot interaction is increasingly moving toward multi-robot, socially grounded environments. Existing systems struggle to integrate multimodal perception, embodied expression, and coordinated decision-making in a unified framework. This limits natural and scalable interaction in shared physical spaces. We address this gap by introducing a multimodal framework for human-multi-agent interaction in which each robot operates as an autonomous cognitive agent with integrated multimodal perception and Large Language Model (LLM)-driven planning grounded in embodiment. At the team level, a centralized coordination mechanism regulates turn-taking and agent participation to prevent overlapping speech and conflicting actions. Implemented on two humanoid robots, our framework enables coherent multi-agent interaction through interaction policies that combine speech, gesture, gaze, and locomotion. Representative interaction runs demonstrate coordinated multimodal reasoning across agents and grounded embodied responses. Future work will focus on larger-scale user studies and deeper exploration of socially grounded multi-agent interaction dynamics.
