日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2602.21983

ヒューマノイドロボットの自然な視線移動を実現するフレームワーク

Humanizing Robot Gaze Shifts: A Framework for Natural Gaze Shifts in Humanoid Robots

シェア:XThreadsFacebookLINEはてブBluesky

VLMで文脈に合った注視対象を推論し、VQ-VAEで人間らしい眼球・頭部協調の視線移動を生成するRGSフレームワークを提案。

詳しい要約

1. どんなもの?

- ヒューマノイドロボットの自然な視線移動(gaze shift)を実現するRobot Gaze-Shift (RGS) フレームワークを提案。 - 認知的な注意機構と生体模倣的な動作生成を統合したパイプライン。 - 視覚言語モデル(VLM)による視線ターゲット推論と、条件付きVQ-VAEによる眼球・頭部協調動作生成からなる。

2. 先行研究と比べてどこがすごい?

- 従来は認知注意機構と生体模倣動作生成が分離して扱われることが多かったが、RGSはこれらを統合パイプラインとして結合。 - 非制約的な人間-ロボットインタラクション(HRI)において、文脈に適した視線移動を可能にする点が新しい。 - 人間の視線定位規則との整合性を確保しつつ、多様で人間らしい動作を生成できる。

3. 技術・手法の肝は?

- VLMベースの視線推論パイプライン:マルチモーダルなインタラクションキューから文脈に適した視線ターゲットを推論。 - 条件付きVQ-VAEモデル:眼球と頭部の協調した視線移動動作を生成し、多様で人間らしい振る舞いを実現。 - これら2つを統合し、認知から動作生成までの一貫した処理を実現。

4. どうやって有効だと検証した?

- 実験により、RGSが人間らしいターゲット選択を効果的に再現し、現実的で多様な視線移動動作を生成することを検証。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 要旨からは、限界や議論の詳細は不明。 - 非制約的HRIにおける課題として、認知注意機構と生体模倣動作生成の結合の難しさが背景として述べられている。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLM(Vision-Language Model)、VQ-VAE(Vector Quantized-Variational Autoencoder)、および社会的HRIにおけるgaze shift生成の研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingchao Wei, Jingkai Qin, Yuxiao Cao, Jingcheng Huang, Xiangrui Zeng, Min Li, Zhouping Yin

分類: cs.RO

原文アブストラクト

Leveraging auditory and visual feedback for attention reorientation is essential for natural gaze shifts in social interaction. However, enabling humanoid robots to perform natural and context-appropriate gaze shifts in unconstrained human--robot interaction (HRI) remains challenging, as it requires the coupling of cognitive attention mechanisms and biomimetic motion generation. In this work, we propose the Robot Gaze-Shift (RGS) framework, which integrates these two components into a unified pipeline. First, RGS employs a vision--language model (VLM)-based gaze reasoning pipeline to infer context-appropriate gaze targets from multimodal interaction cues, ensuring consistency with human gaze-orienting regularities. Second, RGS introduces a conditional Vector Quantized-Variational Autoencoder (VQ-VAE) model for eye--head coordinated gaze-shift motion generation, producing diverse and human-like gaze-shift behaviors. Experiments validate that RGS effectively replicates human-like target selection and generates realistic, diverse gaze-shift motions.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI