日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視線推定arXiv:2607.04860

PAGE: 実用的な人間レベルの視線ターゲット推定に向けて

PAGE: Towards Practical Human-level Gaze Target Estimation

シェア:XThreadsFacebookLINEはてブBluesky

視線ターゲット推定の性能を人間レベルに近づけるため、シーンと頭部特徴の相互作用を明示的にモデル化したPaGEを提案し、大規模な未ラベルデータでの蒸留により軽量で実用的なモデルを実現した。

詳しい要約

1. どんなもの?

本論文は、シーン内で人がどこを見ているかを予測するgaze target estimationタスクのための実用的なモデルPaGE (Practical Gaze Estimator)を提案している。PaGEは、シーン特徴と頭部特徴の複雑な相互作用を明示的にモデル化し、大規模なViT-H+バックボーンを持つ教師モデルから、より軽量なバックボーンを持つ生徒モデルへの蒸留を行う。これにより、ロボットや消費者デバイスへの実用的な展開が可能な軽量モデルでありながら、高い性能を達成する。

2. 先行研究と比べてどこがすごい?

先行研究では、gaze target estimationの性能が人間に及ばず、実用化が制限されていた。PaGEは、シーンと頭部特徴の相互作用を明示的にモデル化するアーキテクチャ改善と、大規模で多様な未ラベルデータセットを用いた蒸留という新しいトレーニング手法により、複数のgaze estimationタスクでSOTAを達成し、9つのメトリクスのうち7つで人間を上回り、残り2つでは人間とAIのギャップを少なくとも60%削減した点が優れている。

3. 技術・手法の肝は?

手法の肝は、シーン特徴と頭部特徴の複雑な相互作用を明示的にモデル化するアーキテクチャと、大規模なViT-H+バックボーンを教師とし、より軽量なバックボーンを持つ生徒モデルを、より大規模で多様な未ラベルデータセット上で蒸留するトレーニング手法である。これにより、教師の性能を維持しつつ、実用的な軽量モデルを実現している。

4. どうやって有効だと検証した?

有効性の検証は、複数のgaze estimationタスクにおけるベンチマーク評価によって行われた。具体的には、9つのメトリクスで評価し、7つで人間を上回り、残り2つでは人間とAIのギャップを少なくとも60%削減した。また、蒸留された生徒モデルが教師の性能をほぼ維持しつつ、軽量であることを示した。

5. 議論はある?

要旨からは、議論の詳細は不明である。ただし、人間を上回る性能を達成した一方で、残り2つのメトリクスではまだ人間に及ばないこと、また、蒸留による性能低下のトレードオフなどが議論の対象となり得る。

6. 次に読むべき論文は?

要旨で参照されている研究や関連手法は明示されていないが、gaze target estimationの分野では、既存のgaze estimationモデルや、ViT (Vision Transformer) ベースのモデル、知識蒸留に関する論文が関連する。具体的には、GazeFollowやVideoAttentionTargetなどのデータセットを用いた研究や、DAM (Dual Attention Model) などの先行手法が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhoutong Ye, Chengwen Zhang, Zhaibin Cui, Mingze Sun, Jiaqi Liu, Xiangwu Li, Qingyang Wan, Chang Liu, Xutong Wang, Huan-ang Gao, Yu Mei, Chun Yu, Yuanchun Shi

分類: cs.CV, cs.HC

原文アブストラクト

Gaze target estimation, the task of predicting where a person is looking in a scene, is crucial to understanding human attention and intent. It is a challenging task that combines high-level understanding of global scene semantics and precise spatial reasoning using human appearance (e.g. pose, eye orientation). As a result, human-level performance remains elusive for existing models, limiting their practical application. To this end, we propose PaGE (Practical Gaze Estimator), a gaze estimation model that explicitly models the complex interaction between scene and head features. Using a PaGE model with a large ViT-H+ backbone as the teacher, we further distill student models with lighter backbones on a much larger and more diverse unlabeled dataset. The architectural improvements and novel training recipe allow PaGE to achieve state-of-the-art performance on several gaze estimation tasks, outperforming humans in 7 out of 9 metrics while reducing the human-AI gap by at least 60% in the remaining 2. The distilled student models retain most of the teacher's performance while being lightweight enough for practical deployment on robots and consumer devices. The code and model checkpoints are available at our project page.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI