日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.20566

HRIBench:人とロボットのインタラクションにおけるリアルタイム人間知覚のための視覚言語モデルベンチマーク

HRIBench: Benchmarking Vision-Language Models for Real-Time Human Perception in Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

HRI向けの視覚言語モデルを評価するため、非言語的手がかりや指示理解など5領域・計1000問のVQAベンチマークを構築し、11モデルの性能と遅延を評価した。

詳しい要約

1. どんなもの?

- HRIBenchは、Human-Robot Interaction (HRI) におけるVision-Language Models (VLMs) の人間知覚能力と性能-遅延トレードオフを評価するためのVisual Question Answering (VQA) ベンチマーク。 - 5領域をカバー: (1) non-verbal cue understanding, (2) verbal instruction understanding, (3) human-robot object relationship understanding, (4) social navigation, (5) person identification。 - 各領域200問、合計1000問のVQA質問で構成。 - 実世界HRI環境のデータと公開データセットを組み合わせて構築。

2. 先行研究と比べてどこがすごい?

- 従来のVLM評価は汎用知覚タスクが中心で、HRIに特化した体系的ベンチマークは限定的。 - HRIBenchはHRIに不可欠な5つの人間知覚タスクを明示的に定義し、性能だけでなく遅延とのトレードオフを同時に評価する点が新しい。 - 実世界HRI環境由来のnon-verbal cue understandingデータを含む点が先行研究と異なる。 - 具体的な先行研究名との比較は要旨からは不明。

3. 技術・手法の肝は?

- 5領域それぞれについてVQA質問を設計し、各200問・計1000問をキュレーション。 - non-verbal cue understandingは実世界HRI環境からデータを収集して質問を作成。 - 残り4領域は公開データセットを活用。 - state-of-the-artのclosed-sourceおよびopen-source VLMs (N=11) を同一ベンチマークで評価し、性能と遅延の両面を分析。

4. どうやって有効だと検証した?

- HRIBench上で11のVLMsを包括的に評価。 - 結果、汎化性があるにもかかわらず、HRIに必須の核心的知覚能力で現行VLMsは依然として苦戦。 - 実験内のどのモデルもリアルタイム展開に適した満足な性能-遅延トレードオフを示さなかった。 - ベンチマークと結果はGitHubリポジトリで公開。

5. 議論はある?

- 現行VLMsはHRI向け人間知覚の核心能力に課題が残る。 - 性能-遅延トレードオフの観点でリアルタイム展開に適するモデルは実験内に存在しなかった。 - より小型で低遅延かつ人間知覚能力を改善したVLMsの研究が必要と結論。 - 個々のモデル名や失敗要因の詳細、領域別の議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として、HRIBenchで評価されたstate-of-the-artのclosed-sourceおよびopen-source VLMs (N=11) が挙げられるが具体名は要旨からは不明。 - 同分野の定番として、VQAベンチマーク (例: VQAv2) や低遅延VLM手法 (例: モデル圧縮・効率的推論) を次に読む候補として検討。 - HRIBenchのGitHubリポジトリに掲載の関連研究も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhonghao Shi, Enyu Zhao, Nathaniel Dennler, Jingzhen Wang, Xinyang Xu, Kaleen Shrestha, Mengxue Fu, Daniel Seita, Maja Matarić

分類: cs.RO, cs.CV

原文アブストラクト

Real-time human perception is crucial for effective human-robot interaction (HRI). Large vision-language models (VLMs) offer promising generalizable perceptual capabilities but often suffer from high latency, which negatively impacts user experience and limits VLM applicability in real-world scenarios. To systematically study VLM capabilities in human perception for HRI and performance-latency trade-offs, we introduce HRIBench, a visual question-answering (VQA) benchmark designed to evaluate VLMs across a diverse set of human perceptual tasks critical for HRI. HRIBench covers five key domains: (1) non-verbal cue understanding, (2) verbal instruction understanding, (3) human-robot object relationship understanding, (4) social navigation, and (5) person identification. To construct HRIBench, we collected data from real-world HRI environments to curate questions for non-verbal cue understanding, and leveraged publicly available datasets for the remaining four domains. We curated 200 VQA questions for each domain, resulting in a total of 1000 questions for HRIBench. We then conducted a comprehensive evaluation of both state-of-the-art closed-source and open-source VLMs (N=11) on HRIBench. Our results show that, despite their generalizability, current VLMs still struggle with core perceptual capabilities essential for HRI. Moreover, none of the models within our experiments demonstrated a satisfactory performance-latency trade-off suitable for real-time deployment, underscoring the need for future research on developing smaller, low-latency VLMs with improved human perception capabilities. HRIBench and our results can be found in this Github repository: https://github.com/interaction-lab/HRIBench.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI