HRI/視覚言語モデル2026/3/1arXiv:2603.18988

MERGE: 人間とロボットの相互作用におけるマルチアクターイベント推論とグラウンディングのための誘導型視覚言語モデル

MERGE: Guided Vision-Language Models for Multi-Actor Event Reasoning and Grounding in Human-Robot Interaction

動的な人間とロボットのグループ相互作用において、アクター、物体、イベントを状況に応じてグラウンディングするシステムMERGEを提案。軽量な知覚パイプラインでVLMを選択的に呼び出し、効率と推論能力を両立し、新規データセットで性能を向上させた。

詳しい要約

1. どんなもの？

- 動的な人間-ロボット群インタラクションにおける actor, object, event の状況的 grounding を行うシステム MERGE を提案。 - 人や物体の永続的表現とイベントのエピソード的抽象化に基づき、actor-action-object 関係を構造化。 - 物理インスタンスを一意に識別し、時間的一貫性を確保。 - VLM を perception pipeline でガイドし、必要な時のみ呼び出す。 - マルチアクター協調用ベンチマーク GROUND データセットも導入。

2. 先行研究と比べてどこがすごい？

- VLM のみのベースライン (GPT-4o, GPT-5, Gemini 2.5 Flash) と比較。 - GROUND データセット上で平均 grounding スコアが 2 倍に向上。 - 実行時間は 4 分の 1 に短縮。 - フレームごとのキャプション生成による高コスト・遅延・断片的出力を回避。 - VLM の推論能力とゼロショット汎化を保ちつつ効率化。

3. 技術・手法の肝は？

- VLM を perception pipeline でガイドする統合設計。 - 軽量ストリーミングモジュールが視覚入力を連続処理し、変化を検出。 - 必要な時のみ VLM を選択的に呼び出す decoupled 設計。 - actor (人間またはロボット) と object の物理インスタンスを一意に識別。 - actor-action-object 関係に構造化し、時間的一貫性を確保。

4. どうやって有効だと検証した？

- 新規 GROUND データセットで評価。 - マルチパーソンおよび人間-ロボットインタラクションの細粒度状況アノテーションを提供。 - VLM のみのベースライン (GPT-4o, GPT-5, Gemini 2.5 Flash) と比較。 - 平均 grounding スコアが 2 倍、実行時間が 4 分の 1 であることを確認。

5. 議論はある？

- マルチアクター協調に適したベンチマークが存在しないことを指摘。 - フレームごとのキャプション生成の金銭的コストと遅延、断片的・遅延出力の問題を議論。 - decoupled 設計が VLM の推論能力とゼロショット汎化を保つと主張。 - その他の限界や議論は要旨からは不明。

6. 次に読むべき論文は？

- 要旨で参照/比較されている研究: GPT-4o, GPT-5, Gemini 2.5 Flash などの VLM ベースライン。 - 関連手法: Vision-Language Models (VLMs), perception pipeline, streaming module。 - 同分野の定番: 人間-ロボットインタラクション (HRI) における状況認識、grounding 研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Joerg Deigmoeller, Nakul Agarwal, Stephan Hasler, Daniel Tanneberg, Anna Belardinelli, Reza Ghoddoosian, Chao Wang, Felix Ocker, Fan Zhang, Behzad Dariush, Michael Gienger

分類: cs.RO

原文アブストラクト

We introduce MERGE, a system for situational grounding of actors, objects, and events in dynamic human-robot group interactions. Effective collaboration in such settings requires consistent situational awareness, built on persistent representations of people and objects and an episodic abstraction of events. MERGE achieves this by uniquely identifying physical instances of actors (humans or robots) and objects and structuring them into actor-action-object relations, ensuring temporal consistency across interactions. Central to MERGE is the integration of Vision-Language Models (VLMs) guided with a perception pipeline: a lightweight streaming module continuously processes visual input to detect changes and selectively invokes the VLM only when necessary. This decoupled design preserves the reasoning power and zero-shot generalization of VLMs while improving efficiency, avoiding both the high monetary cost and the latency of frame-by-frame captioning that leads to fragmented and delayed outputs. To address the absence of suitable benchmarks for multi-actor collaboration, we introduce the GROUND dataset, which offers fine-grained situational annotations of multi-person and human-robot interactions. On this dataset, our approach improves the average grounding score by a factor of 2 compared to the performance of VLM-only baselines - including GPT-4o, GPT-5 and Gemini 2.5 Flash - while also reducing run-time by a factor of 4. The code and data are available at www.github.com/HRI-EU/merge.

arXivで原文を読む →arXiv概要ページ

← 論文一覧