視覚言語モデルにおける衝突接地の探求：安全な人間ロボット協調のために

- 視覚言語モデル(VLM)の衝突接地(collision grounding)能力を評価するベンチマークTouchSafeBenchを提案。 - 衝突接地とは、視覚観測をロボット身体形状・カメラ視点・シーン配置・人間近接・時間運動に結びつけ、現在および切迫した接触を推論する能力。 - Habitat 3.0上に構築され、social navigationとsocial rearrangementの2,940エピソードを含む。 - 多視点RGB-D観測、トップダウン軌跡マップ、キャリブレーション済みカメラメタデータ、シミュレータ由来の接触ラベルを同期して提供。 - 現在の安全状態の分類と、接触前の切迫衝突警告の2タスクを評価。

- 従来のVLM評価は視覚記述や静的なシーン理解に焦点が当たりがち。 - 本研究は物理に根ざした衝突接地という新規能力を定義し、安全な人間-ロボット協働に直結する評価軸を導入。 - シミュレータ由来の接触ラベルと多視点・時系列データを備えた初のベンチマークである点が特徴。 - 視覚的な流暢さが物理的な説明責任を意味しないことを定量的に示した。

- Habitat 3.0を用いて2,940の屋内共在エピソードを生成。 - 同期した多視点RGB-D、トップダウン軌跡マップ、カメラメタデータ、接触ラベルを収録。 - 3つの最先端またはロボティクス向けVLMと9つの視覚表現を評価。 - タスクは現在の安全状態分類と切迫衝突警告の2種類。 - 評価指標はMacro-F1。

- 3つのVLMと9つの視覚表現で実験。 - 最高平均Macro-F1は50%未満にとどまり、現行モデルの信頼性が低いことを示す。 - 明示的なdepth情報が自動的にロボット身体の衝突証拠に変換されないことを確認。 - ロボット-シーン接触は人間接触リスクよりも一貫して難しいことを発見。

- 身体化VLMの中心的限界として、視覚的流暢さが物理的説明責任を保証しないことを指摘。 - 信頼できるロボット安全モニタには、視点・ロボット形態・計量幾何・将来衝突を明示的に結びつける表現が必要と主張。 - ベンチマークは採択後に公開予定。 - 具体的な限界や倫理的議論は要旨からは不明。

- Habitat 3.0(本ベンチマークの基盤シミュレータ) - 評価対象の3つのfrontier/robotics-oriented VLM(具体名は要旨からは不明) - 関連手法としてvision-language models (VLMs)全般、embodied VLMs、collision grounding、social navigation、social rearrangement - 同分野の定番としてEmbodied AI、Human-Robot Collaboration、Safe Reinforcement Learning