InterSocialBench:コンパニオンロボットの社会的行動に対する人間とLLMの選好を評価するベンチマーク
InterSocialBench: Benchmarking Human and LLM Preferences for Companion-Robot Social Behavior
家庭内の210シナリオと18の高レベル行動について、100人の人間の判断と7つのLLMの応答を収集し、コンパニオンロボットの社会的行動選択における人間とLLMの選好の違いを評価するベンチマークを提案した。
詳しい要約
1. どんなもの?
2. 先行研究と比べてどこがすごい?
3. 技術・手法の肝は?
4. どうやって有効だと検証した?
5. 議論はある?
6. 次に読むべき論文は?
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Yaodan Xu, Boyang Guo, Yuqing Gu, Qingxin Zhang, Yiwen Deng, Meng Liu, Lintian Li
分類: cs.RO
原文アブストラクト
Companion robots face everyday situations in which several feasible behaviors may be appropriate, yet different people prefer different responses. We introduce InterSocialBench, a benchmark of 210 domestic scenarios and 18 high-level behaviors, pairing judgments from 100 human participants with 23,520 responses from seven large language models under 16 personality conditions. Each human annotation preserves a preferred action alongside explicitly appropriate and inappropriate candidates. A structured construction pipeline covers behavioral alternatives, competing situational cues, and relevant history and future tasks. Evaluation distinguishes preferred-choice agreement from explicit rejection, using scenario-grouped splits for trainable predictors. Simple frequency and persona-voting baselines illustrate these objectives. Across the tested prompts, model and human behavior distributions differ, and the diversity gap remains after matching response counts: humans exhibit 4.68 distinct choices per scenario, compared with 2.06--3.46 for the models. Human scenario-level plurality agreement is 51.5%, describing disagreement rather than a universal prediction ceiling. InterSocialBench supports evaluating social behavior selection without replacing individual judgments with a single consensus label.
関連論文
- 人々の間のロボット:社会的模倣から人間集団の社会的生成へ社会的ロボティクス
- ROBOPOL:協調自動運転のための社会的ロボティクスと車車間通信の融合社会的ロボティクス
- 「何もしないよりマシ」を超えて:高齢者向け共感型AIロボットコンパニオンの設計戦略社会的ロボティクス
- 平面を超えて:社会的認識ロボティクスのための人間パーソナルスペースの3次元表現社会的ロボティクス
- 社会的身体化コボットに向けて:産業用コボットと社会的仮想エージェントの統合社会的ロボティクス
- ロボティクスと社会的AIにおける子どもの行動のモデリングから理解へ社会的ロボティクス
