日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2512.06558

人間とロボットのインタラクションにおける身体性を伴う指示表現の理解

Embodied Referring Expression Comprehension in Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

多様な視点から収集した屋内・屋外の身体的言語・非言語インタラクションの大規模データセットRefer360を構築し、マルチモーダル誘導残差モジュールMuResを提案して、身体性を伴う指示表現の理解性能を向上させた。

詳しい要約

1. どんなもの?

- 本論文は、Human-Robot Interaction (HRI) における embodied referring expression comprehension を扱う研究である。 - 多様な HRI 設定での自然な embodied interaction を捉えた大規模データセットが不足している問題に対処する。 - 屋内・屋外の多様な視点で収集した embodied verbal/nonverbal interaction の大規模データセット Refer360 を提示する。 - 併せて、embodied referring expression comprehension を改善する multimodal guided residual module の MuRes を導入する。

2. 先行研究と比べてどこがすごい?

- 既存データセットは perspective bias、single-view collection、nonverbal gestures のカバレッジ不足、屋内環境への偏重という問題を持つと指摘する。 - Refer360 は屋内・屋外の両設定で多様な視点から収集された embodied verbal/nonverbal interaction の大規模データセットである点が異なる。 - MuRes は pre-trained representations に modality-specific signals を補完的に注入する点が特徴で、既存 multimodal models の性能を一貫して改善する。 - 具体的な先行研究名や数値比較は要旨からは不明。

3. 技術・手法の肝は?

- Refer360 は多様な視点・屋内屋外を含む embodied verbal/nonverbal interaction を収集した大規模データセットとして構築される。 - MuRes は multimodal guided residual module であり、information bottleneck として機能する。 - 各 modality 固有の顕著な信号を抽出し、pre-trained representations に強化して再注入する。 - これにより downstream tasks 向けの complementary features を形成する。

4. どうやって有効だと検証した?

- Refer360 を含む 4 つの HRI datasets 上で広範な実験を実施した。 - 現行の multimodal models は embodied interactions を包括的に捉えられないことを示した。 - 一方、MuRes を追加すると性能が一貫して改善することを示した。 - これにより Refer360 が有用な benchmark であることを位置づけている。

5. 議論はある?

- 現行 multimodal models が embodied interactions を十分に理解できないという限界を議論している。 - Refer360 を valuable benchmark として確立する意義を述べている。 - guided residual learning が人間環境で動作するロボットの embodied referring expression comprehension を進展させる可能性を議論している。 - 具体的な失敗要因や制約の詳細は要旨からは不明。

6. 次に読むべき論文は?

- 本論文で導入された Refer360 dataset と MuRes module の原論文を次に読むべき。 - 比較対象として言及される既存の HRI datasets および multimodal models の関連研究を参照する。 - embodied referring expression comprehension や Human-Robot Interaction における guided residual learning 関連の研究を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Md Mofijul Islam, Alexi Gladstone, Sujan Sarker, Ganesh Nanduru, Md Fahim, Keyan Du, Aman Chadha, Tariq Iqbal

分類: cs.RO

原文アブストラクト

As robots enter human workspaces, there is a crucial need for them to comprehend embodied human instructions, enabling intuitive and fluent human-robot interaction (HRI). However, accurate comprehension is challenging due to a lack of large-scale datasets that capture natural embodied interactions in diverse HRI settings. Existing datasets suffer from perspective bias, single-view collection, inadequate coverage of nonverbal gestures, and a predominant focus on indoor environments. To address these issues, we present the Refer360 dataset, a large-scale dataset of embodied verbal and nonverbal interactions collected across diverse viewpoints in both indoor and outdoor settings. Additionally, we introduce MuRes, a multimodal guided residual module designed to improve embodied referring expression comprehension. MuRes acts as an information bottleneck, extracting salient modality-specific signals and reinforcing them into pre-trained representations to form complementary features for downstream tasks. We conduct extensive experiments on four HRI datasets, including the Refer360 dataset, and demonstrate that current multimodal models fail to capture embodied interactions comprehensively; however, augmenting them with MuRes consistently improves performance. These findings establish Refer360 as a valuable benchmark and exhibit the potential of guided residual learning to advance embodied referring expression comprehension in robots operating within human environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI