日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.23046

SoMi-ToM:身体的社会的相互作用における多視点Theory of Mindの評価

SoMi-ToM: Evaluating Multi-Perspective Theory of Mind in Embodied Social Interactions

シェア:XThreadsFacebookLINEはてブBluesky

マルチエージェントの身体的社会的相互作用を題材に、一人称視点と三人称視点の両方からTheory of Mindを評価するベンチマークSoMi-ToMを提案し、LVLMの性能を人間と比較評価した。

詳しい要約

1. どんなもの?

- 動的な実世界の社会的相互作用におけるTheory of Mind (ToM)を評価するベンチマーク「SoMi-ToM」を提案 - 身体性を伴うマルチエージェントの複雑な社会的相互作用を対象 - マルチモーダルな相互作用データを生成する環境SoMiに基づく - 多様なcrafting goalsと社会的関係をカバー - 一人称評価と三人称評価の多層評価を支援 - 35の三人称視点動画、363の一人称視点画像、1225の専門家注釈付き多肢選択問題(3択)を含むデータセットを構築

2. 先行研究と比べてどこがすごい?

- 従来のToMベンチマークは静的でテキストベースのシナリオのみを評価し、実際の相互作用との間に大きなギャップがある - SoMi-ToMは身体性を伴うマルチエージェントの複雑な社会的相互作用を評価対象とする点が新しい - 一人称視点のマルチモーダル入力(視覚・対話・行動など)によるリアルタイム状態推論と、三人称視点の完全な動画・テキスト記録による目標・行動推論の両方を評価可能 - 主観的な即時経験と客観的な全体観察の両面からToM能力をより包括的に検討できる

3. 技術・手法の肝は?

- 相互作用環境SoMiが生成するリッチなマルチモーダル相互作用データを基盤とする - 一人称評価: タスク中の一人称視点からのマルチモーダル入力(視覚、対話、行動など)を用いたリアルタイム状態推論 - 三人称評価: タスク後の完全な三人称視点動画とテキスト記録を用いた目標・行動推論 - 専門家が注釈した3択の多肢選択問題(1225問)で構成 - 被験者と複数のstate-of-the-art large vision-language models (LVLMs)を体系的に評価

4. どうやって有効だと検証した?

- 構築したデータセット上で人間被験者と複数のstate-of-the-art LVLMsの性能を体系的に評価 - 結果、LVLMsはSoMi-ToMで人間より大幅に低性能 - 一人称評価では人間とモデルの平均精度差が40.1% - 三人称評価では平均精度差が26.4% - この結果から、将来のLVLMsは身体性を伴う複雑な社会的相互作用におけるToM能力の向上が必要と示唆

5. 議論はある?

- LVLMsと人間の間に大きな性能差があり、身体性を伴う複雑な社会的相互作用におけるToMの難しさが示される - 一人称評価の方が三人称評価より人間とモデルの差が大きく、即時的なマルチモーダル状態推論の困難さが示唆される - 今後のLVLMsのToM能力改善の必要性が議論される - その他の具体的な議論や限界については要旨からは不明

6. 次に読むべき論文は?

- SoMi(本ベンチマークの基盤となる相互作用環境) - 静的・テキストベースの従来のToMベンチマーク(具体的名称は要旨からは不明) - large vision-language models (LVLMs)のToM評価に関する関連研究(具体的名称は要旨からは不明)

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xianzhe Fan, Xuhui Zhou, Chuanyang Jin, Kolby Nottingham, Hao Zhu, Maarten Sap

分類: cs.CL, cs.AI, cs.CV, cs.RO

原文アブストラクト

Humans continuously infer the states, goals, and behaviors of others by perceiving their surroundings in dynamic, real-world social interactions. However, most Theory of Mind (ToM) benchmarks only evaluate static, text-based scenarios, which have a significant gap compared to real interactions. We propose the SoMi-ToM benchmark, designed to evaluate multi-perspective ToM in embodied multi-agent complex social interactions. This benchmark is based on rich multimodal interaction data generated by the interaction environment SoMi, covering diverse crafting goals and social relationships. Our framework supports multi-level evaluation: (1) first-person evaluation provides multimodal (visual, dialogue, action, etc.) input from a first-person perspective during a task for real-time state inference, (2) third-person evaluation provides complete third-person perspective video and text records after a task for goal and behavior inference. This evaluation method allows for a more comprehensive examination of a model's ToM capabilities from both the subjective immediate experience and the objective global observation. We constructed a challenging dataset containing 35 third-person perspective videos, 363 first-person perspective images, and 1225 expert-annotated multiple-choice questions (three options). On this dataset, we systematically evaluated the performance of human subjects and several state-of-the-art large vision-language models (LVLMs). The results show that LVLMs perform significantly worse than humans on SoMi-ToM: the average accuracy gap between humans and models is 40.1% in first-person evaluation and 26.4% in third-person evaluation. This indicates that future LVLMs need to further improve their ToM capabilities in embodied, complex social interactions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI