HandMeThat: 物理的・社会的環境における人間とロボットのコミュニケーション
HandMeThat: Human-Robot Communication in Physical and Social Environments
物理的・社会的な文脈を考慮して人間の指示を理解し実行するロボットの能力を評価するベンチマークHandMeThatを提案し、既存手法の性能が低いことを示した。
著者: Yanming Wan, Jiayuan Mao, Joshua B. Tenenbaum
分類: cs.AI, cs.CL, cs.LG, cs.RO
原文アブストラクト
We introduce HandMeThat, a benchmark for a holistic evaluation of instruction understanding and following in physical and social environments. While previous datasets primarily focused on language grounding and planning, HandMeThat considers the resolution of human instructions with ambiguities based on the physical (object states and relations) and social (human actions and goals) information. HandMeThat contains 10,000 episodes of human-robot interactions. In each episode, the robot first observes a trajectory of human actions towards her internal goal. Next, the robot receives a human instruction and should take actions to accomplish the subgoal set through the instruction. In this paper, we present a textual interface for our benchmark, where the robot interacts with a virtual environment through textual commands. We evaluate several baseline models on HandMeThat, and show that both offline and online reinforcement learning algorithms perform poorly on HandMeThat, suggesting significant room for future work on physical and social human-robot communications and interactions.
関連論文
- 他者への配慮を考慮した空間的人間-エージェントインタラクションモデル人間-ロボットインタラクション
- 視覚言語モデルを社会的知能の代理として活用する人間-ロボットインタラクション人間-ロボットインタラクション
- 説明可能な人間-ロボットインタラクションのための心の理論人間-ロボットインタラクション
- ロボットが「ノー」と言うとき:説明による信頼の時間的回復人間-ロボットインタラクション
- 産業メタバースにおけるリアルタイム人間-ロボットインタラクションのためのタスク指向エッジ支援クロスシステム設計人間-ロボットインタラクション
- 操作者の模倣による自律的な人間-ロボットインタラクション人間-ロボットインタラクション
