心的状態推論2026/5/31arXiv:2606.01063

MindClaw: 精密介入のための閉ループ具現化心的状態推論

MindClaw: Closed-Loop Embodied Mental-State Reasoning for Precision Intervention

ロボットが他者の心的状態をリアルタイムに推論し、必要な時だけ介入する閉ループフレームワークMindClawを提案した。

詳しい要約

1. どんなもの？

- 実世界の閉ループ環境で動作するembodied agent向けのmental-state reasoningフレームワーク「MindClaw」を提案。 - Theory of Mind (ToM) を基盤に、他者の信念・目標・意図を推論し、必要な時だけ介入するprecision interventionを目指す。 - マルチソース入力、belief memory、embodied cognitive trigger skill、mental reasoning、action generationを統合。 - 従来のオフラインQAや最終行動予測ではなく、リアルタイムで環境変化に追随し、介入の要否を判断する点が特徴。

2. 先行研究と比べてどこがすごい？

- 既存のToMベンチマークはテキスト/マルチモーダルなmental-state recognitionやオフラインQA、最終行動予測に偏り、embodied agentの閉ループ能力を十分に評価していない。 - MindPowerを基に、robot-centric ToM reasoningをリアルタイム閉ループ設定へ拡張。 - 直接的なVLMベースラインはtask awarenessとintervention calibrationに苦戦するが、MindClawは総合性能で最良。 - trigger-skill最適化の重要性を示した点が先行研究との差分。

3. 技術・手法の肝は？

- 多源入力（multi-source inputs）を統合し、actor-specific beliefsを更新するbelief memoryを保持。 - embodied cognitive trigger skillにより、推論が必要なタイミングを判断。 - mental reasoningを経てaction generationへ接続し、有用な時のみ介入、不要時は沈黙。 - 閉ループで環境変化に追随する構成が肝。

4. どうやって有効だと検証した？

- 実験により、直接的なVLMベースラインがtask awarenessとintervention calibrationで苦戦することを示す。 - MindClawが総合性能で最良を達成し、閉ループembodied ToM assistanceにおけるtrigger-skill最適化の重要性を実証。 - 具体的なデータセット名・評価指標・被験者数などは要旨からは不明。

5. 議論はある？

- 直接VLMベースラインの限界（task awareness、intervention calibration）が議論の焦点。 - trigger-skill最適化が閉ループembodied ToM assistanceに重要であると主張。 - 限界・失敗事例・倫理的考察・計算コストなどは要旨からは不明。

6. 次に読むべき論文は？

- MindPower（本研究の基盤となったrobot-centric ToM reasoning） - 既存のToMベンチマーク（テキスト/マルチモーダルmental-state recognition、オフラインQA、最終行動予測を扱うもの） - VLMベースライン（直接的なVision-Language Modelを用いた手法） - 関連するembodied assistanceやintervention calibrationの研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruoxuan Zhang, Qiaoqiao Wan, Zhengguang Wang, Chenghao Yu, Hongxia Xie, Jianlong Fu, Wen-Huang Cheng

分類: cs.AI

原文アブストラクト

Theory of Mind (ToM) enables an agent to reason about another actor's beliefs, goals, and intentions, which is essential for human-centered embodied assistance. Existing ToM benchmarks have advanced text and multimodal mental-state recognition, but they mostly evaluate offline question answering or final action prediction. They do not fully test whether an embodied agent can stay connected to a changing environment, update actor-specific beliefs, decide when reasoning is needed, and intervene only when help is useful. Building on MindPower, we extend robot-centric ToM reasoning to a real-time closed-loop setting and introduce MindClaw, a framework for embodied mental-state reasoning with precision intervention. MindClaw connects multi-source inputs, belief memory, an embodied cognitive trigger skill, mental reasoning, and action generation, allowing the agent to output helpful actions at the right time while remaining silent when intervention is unnecessary. Experiments show that direct VLM baselines struggle with task awareness and intervention calibration, while MindClaw achieves the best overall performance, demonstrating the importance of trigger-skill optimization for closed-loop embodied ToM assistance.

arXivで原文を読む →arXiv概要ページ

← 論文一覧