日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRI評価arXiv:2606.23339

ロボットが自らのインタラクションを評価するとき:エンゲージメントの妥当性と「奇妙さ」の失敗

When Robots Rate Their Own Interactions: Engagement Validity and the Strangeness Failure

シェア:XThreadsFacebookLINEはてブBluesky

LLM搭載ロボットに人間用のHRI評価アンケートを自己評価させ、人間の評価と一致するかを検証。エンゲージメントでは中程度の一致が見られたが、快適さ/奇妙さの次元では系統的に逆転する「奇妙さの失敗」が生じることを示した。

詳しい要約

1. どんなもの?

- LLMを搭載したロボット自身が、HRI評価用の標準質問紙(HRI-CUES、Godspeed、RoSAS)に自己視点で回答する『inverted evaluation』を提案 - その回答が人間のground truthと一致するかを検証 - Study 1では5つのLLMがHRI-CUESデータセットの25 interactionについて計1,522評価を実施 - Study 2ではNaoロボットにClaude Sonnet 4.5を搭載し、実インタラクション(N=4)でリアルタイムのturn-by-turn評価を実施 - ロボットの視点からのHRI評価の妥当性と限界を検討する研究

2. 先行研究と比べてどこがすごい?

- 従来のHRI評価はほぼ人間が記入する質問紙に依存し、ロボットの視点は未検討だった - 本研究はロボット自身に標準評価尺度を自己回答させる『inverted evaluation』という新枠組みを導入 - LLMによる評価がengagement次元では中〜高一致を示す一方、comfort/strangeness次元では系統的に反転することを発見 - このstrangeness failureが5モデル、synthetic controls、embodied deploymentでも持続することを示した - LLMをHRIのinteraction evaluatorとして使う際のboundary conditionsを確立した点が新しい

3. 技術・手法の肝は?

- LLM搭載ロボットがHRI-CUES、Godspeed、RoSASを自己視点で完了するinverted evaluationを設計 - Study 1: 5つのLLMがHRI-CUESデータセットの25 interactionについて1,522評価を実施し、人間のground truthと一致度を相関・ICCで評価 - Study 2: NaoロボットにClaude Sonnet 4.5を実装し、live interaction(N=4)で同様のパターンを再現、リアルタイムturn-by-turn assessmentも実施 - 5モデル、synthetic controls、embodied deployment(2参加者)でstrangeness failureの頑健性を確認 - 評価にはengagement次元(satisfaction, enjoyment)とcomfort/strangeness次元が含まれる

4. どうやって有効だと検証した?

- Study 1でLLM評価と人間ground truthの一致を検証:engagement次元でsatisfaction r up to .65、enjoyment r up to .72、test-retest reliability ICC ≥ .82 - comfort/strangeness次元では系統的反転(r = -.44 to -.67, all p < .05)を確認 - Study 2でNao + Claude Sonnet 4.5によるlive interaction(N=4)で同パターンを再現 - strangeness failureが5モデル、synthetic controls、embodied deployment(2参加者)で持続することを確認 - これによりLLMベースロボットの評価妥当性の限界を実証

5. 議論はある?

- 現在のLLMベースロボットはstrangenessのような構成概念を評価するのに必要なinternal affective statesにアクセスできないと主張 - inverted evaluationをbehavioral proxiesを超えるには、生理信号、gaze、proxemicsなどのsupplementary modalitiesが必要と議論 - engagementとcomfortを混同する問題(conflating engagement with comfort)が示唆される - これらの知見はHRIでLLMをinteraction evaluatorとして使う際のboundary conditionsを確立 - 要旨からは、他の構成概念や長期的相互作用への一般化可能性については不明

6. 次に読むべき論文は?

- HRI-CUESデータセット(本研究で使用) - Godspeed questionnaire(本研究で使用) - RoSAS questionnaire(本研究で使用) - Claude Sonnet 4.5(本研究で使用) - Nao robot(本研究で使用) - 関連手法として、LLMを評価者として用いる研究や、生理信号・gaze・proxemicsをHRI評価に統合する研究が次に読むべき候補

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Victor Lockwood, Hasan Mahmud, Mohammad Javad Khojasteh, Prabu David, Jamison Heard

分類: cs.RO

原文アブストラクト

Human-robot interaction (HRI) evaluation relies almost exclusively on human-completed questionnaires, leaving the robot's perspective unexamined. We propose an \textit{inverted evaluation}, in which LLM-powered robots complete the same standardized instruments from their own perspective, and test whether these ratings agree with human ground truth. In Study~1, five LLMs completed HRI-CUES, Godspeed, and RoSAS questionnaires for 25~interactions ($N = 1{,}522$ evaluations) from the HRI-CUES dataset. LLMs achieved moderate-to-strong agreement on engagement dimensions (satisfaction $r$ up to $.65$ and enjoyment $r$ up to $.72$) with excellent test-retest reliability (ICC $\geq .82$), but \textit{systematically inverted} the comfort/strangeness dimension ($r = -.44$ to $-.67$, all $p < .05$), conflating engagement with comfort. In Study~2, a Nao robot running Claude~Sonnet~4.5 replicated these patterns in live interactions ($N = 4$), including real-time turn-by-turn assessment. The strangeness failure persisted across five models, synthetic controls, and embodied deployment for two participants. We argue that current LLM-based robots lack access to the internal affective states needed to assess constructs like strangeness, and that inverted evaluation requires supplementary modalities (e.g., physiological signals, gaze, proxemics) to move beyond behavioral proxies. These findings establish boundary conditions for using LLMs as interaction evaluators in HRI.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI