日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2601.19839

HARMONI: LLMを用いたマルチユーザーヒューマンロボットインタラクションのマルチモーダル個別化

HARMONI: Multimodal Personalization of Multi-User Human-Robot Interactions with LLMs

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルを活用し、社会的支援ロボットが複数ユーザーとの長期的な対話を持続的に個別化・適応させるマルチモーダルフレームワークを提案。介護施設での実証実験を含む評価で、話者識別や記憶更新、倫理的に整合した個別化を実現した。

詳しい要約

1. どんなもの?

- HARMONIは、LLMを活用したマルチモーダル個人化フレームワーク - 社会的支援ロボットが長期的なマルチユーザー対話を管理することを可能にする - 4つのモジュールで構成:知覚、世界モデリング、ユーザーモデリング、生成 - 実世界の介護施設環境でのユーザー研究も実施

2. 先行研究と比べてどこがすごい?

- 既存のHRIシステムは持続的な個人化と動的適応のメカニズムを欠いていた - HARMONIは長期的なマルチユーザー対話を管理し、話者識別、オンラインメモリ更新、倫理的に整合した個人化を実現 - ベースラインのLLM駆動アプローチと比較して、ユーザーモデリング精度、個人化品質、ユーザー満足度で優れる

3. 技術・手法の肝は?

- 知覚モジュール:アクティブスピーカーを識別し、マルチモーダル入力を抽出 - 世界モデリングモジュール:環境と短期的な会話コンテキストの表現を維持 - ユーザーモデリングモジュール:長期的な話者固有プロファイルを更新 - 生成モジュール:文脈に基づき倫理的に配慮した応答を生成

4. どうやって有効だと検証した?

- 4つのデータセットでの広範な評価とアブレーション研究 - 介護施設環境での実世界シナリオ駆動型ユーザー研究 - 話者識別の堅牢性、オンラインメモリ更新、倫理的に整合した個人化を実証 - ベースラインLLM駆動アプローチを上回る性能を確認

5. 議論はある?

- 要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない - 同分野の定番として、LLM駆動のHRI、マルチモーダル個人化、社会的支援ロボットに関する研究が挙げられる

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jeanne Malécot, Hamed Rahimi, Jeanne Cattoni, Marie Samson, Mouad Abrini, Mahdi Khoramshahi, Maribel Pino, Mohamed Chetouani

分類: cs.RO, cs.AI, cs.HC

原文アブストラクト

Existing human-robot interaction systems often lack mechanisms for sustained personalization and dynamic adaptation in multi-user environments, limiting their effectiveness in real-world deployments. We present HARMONI, a multimodal personalization framework that leverages large language models to enable socially assistive robots to manage long-term multi-user interactions. The framework integrates four key modules: (i) a perception module that identifies active speakers and extracts multimodal input; (ii) a world modeling module that maintains representations of the environment and short-term conversational context; (iii) a user modeling module that updates long-term speaker-specific profiles; and (iv) a generation module that produces contextually grounded and ethically informed responses. Through extensive evaluation and ablation studies on four datasets, as well as a real-world scenario-driven user-study in a nursing home environment, we demonstrate that HARMONI supports robust speaker identification, online memory updating, and ethically aligned personalization, outperforming baseline LLM-driven approaches in user modeling accuracy, personalization quality, and user satisfaction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI