日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視線推定arXiv:2605.04770

Gaze4HRI: 人間ロボット相互作用のための視線推定ニューラルネットワークのゼロショットベンチマーク

Gaze4HRI: Zero-shot Benchmarking Gaze Estimation Neural-Networks for Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

人間ロボット相互作用における視線推定の頑健性を評価する大規模データセットとベンチマークを提案し、既存手法が特定条件下で失敗することを明らかにした。

詳しい要約

1. どんなもの?

- 外観ベースの3D gaze estimationをHRIで評価する大規模データセットGaze4HRIを提案。 - 50+被験者、3,000+動画、600,000+フレームを含む。 - 照明、頭部と視線のconflict、カメラとgaze targetの動きを評価軸とする。 - zero-shot性能をベンチマークし、HRIでの信頼性を検証する。

2. 先行研究と比べてどこがすごい?

- 既存ベンチマークはHRI条件(動的視点、動くtarget)を軽視。 - 従来のcross-dataset評価は複雑度ギャップがあり、真のrobustnessを測れない。 - Gaze4HRIは大規模でHRI変数を制御し、state-of-the-art手法を公平に評価。 - 複雑なspatial-temporal modelingやTransformerの優位性に疑問を投げる。

3. 技術・手法の肝は?

- 外観ベース3D gaze estimationのzero-shot評価を実施。 - 照明、head-gaze conflict、カメラ・target motionの条件を設定。 - 複数のstate-of-the-art手法を比較。 - PureGaze(ETH-X-Gazeで訓練)とself-adversarial lossによるgaze feature purificationを検証。

4. どうやって有効だと検証した?

- Gaze4HRIデータセットでstate-of-the-art手法をベンチマーク。 - 全手法が少なくとも1条件で失敗し、急下方視線が共通の失敗点と判明。 - PureGaze(ETH-X-Gaze訓練)のみ他の全条件でresilienceを維持。 - データ多様性とresilience-enhancing frameworkの有効性を示す。

5. 議論はある?

- 複雑なspatial-temporal modelingやTransformerベース手法の焦点に疑問を提示。 - ゼロショットrobustnessの主因はデータ多様性(ETH-X-Gaze)と示唆。 - PureGazeのself-adversarial lossがさらなる改善をもたらす。 - HRI実践者へのガイドラインと将来研究の方向性を提示。

6. 次に読むべき論文は?

- PureGaze(self-adversarial loss for gaze feature purification) - ETH-X-Gaze dataset - Transformer-based gaze estimation手法 - その他のzero-shot gaze estimationベンチマーク

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Berk Sezer, Ali Görkem Küçük, Erol Şahin, Sinan Kalkan

分類: cs.CV, cs.HC, cs.LG, cs.RO

原文アブストラクト

While zero-shot appearance-based 3D gaze estimation offers significant cost-efficiency by directly mapping RGB images to gaze vectors, its reliability in Human-Robot Interaction (HRI) settings remains uncertain. Existing benchmarks frequently overlook fundamental HRI conditions, such as dynamic camera viewpoints and moving targets in video. Furthermore, current cross-dataset evaluations often suffer from a complexity gap, where methods trained on diverse datasets are tested on significantly smaller and less varied sets, failing to assess true robustness. To bridge these gaps, we introduce Gaze4HRI, a large-scale dataset (50+ subjects, 3,000+ videos, 600,000+ frames) designed to evaluate state-of-the-art performance against critical HRI variables: illumination, head-gaze conflict, as well as the motion of camera and gaze target in video. Our benchmark reveals that all evaluated methods fail in at least one condition, identifying steeply-downward gaze as a universal failure point. Notably, PureGaze trained on the ETH-X-Gaze dataset uniquely maintains resilience across all other conditions. These results challenge the recent focus in the literature on complex spatial-temporal modeling and Transformer-based architectures. Instead, our findings suggest that extensive data diversity, as exemplified by the ETH-X-Gaze dataset, serves as the primary driver of zero-shot robustness in unconstrained environments, while resilience-enhancing frameworks, such as PureGaze's self-adversarial loss for gaze feature purification, provide a substantial further improvement. Ultimately, this study establishes a rigorous benchmark that provides practical guidelines for practitioners as well as reshaping future research. The dataset and codes are available at https://gazeforhri.github.io.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI