日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2606.10276

言語と自己中心視点の人間信号に基づく階層的ポリシーによる自然なヒューマンロボットインタラクション

Hierarchical Policies from Verbal and Egocentric Human Signals for Natural Human-Robot Interaction

シェア:XThreadsFacebookLINEはてブBluesky

スマートグラスから得られる人間の視線やジェスチャーなどの非言語信号と言語指示を組み合わせてロボットを制御する階層的ポリシーを提案し、ユーザーの意図伝達の負担を軽減した。

詳しい要約

1. どんなもの?

- 自然な human-robot interaction のためのロボットフレームワーク EDITH を提案。 - smart glasses から一人称視点・gaze・音声をリアルタイムでロボットにストリーミング。 - 音声は language instructions に文字起こしし、非言語信号と併用して robot policy の入力とする。 - 階層的 policy を設計し、high-level policy が人間の意図を推論して subtask 列を生成。 - 各 subtask は fine-grained instruction と、意図を scene に接地する keyframe の組で表現。 - low-level policy がそれら subtask を実行する。

2. 先行研究と比べてどこがすごい?

- 従来の robot policies は language instructions のみを意図伝達のインタフェースとしており、gestures や gaze などの nonverbal signals は未使用。 - そのためコミュニケーションの負担が人間側に集中していた。 - EDITH は first-person view と gaze の連続ストリームを smart glasses から取得し、language instructions と併用。 - これにより非言語信号のみで意図が簡潔に示される場合でもロボットが行動可能。 - language instructions 単独と比べ、意図伝達の user effort を大幅に削減。

3. 技術・手法の肝は?

- hardware system が人間の first-person view、gaze、speech をリアルタイムでロボットへストリーミング。 - speech を language instructions に文字起こし。 - 豊富だがノイズの多い信号を扱うため hierarchical policy を採用。 - high-level policy が人間の意図を推論し、subtask 列を生成。 - 各 subtask は fine-grained instruction と keyframe のペアで表現。keyframe は意図を scene に接地する(例:人間が対象物を指すフレーム)。 - low-level policy が subtask を実行。

4. どうやって有効だと検証した?

- human-robot interactive tasks における実験を実施。 - EDITH により、意図が簡潔にしか表現されない場合でもロボットが人間の nonverbal signals に基づいて行動できることを示した。 - language instructions のみを使う場合と比較して、意図伝達の user effort を有意に削減。 - project page で source code と real-robot demo videos を公開。

5. 議論はある?

- 要旨からは不明。 - 想定される論点(非言語信号のノイズ、keyframe 接地の一般性、ユーザ負担の定量評価など)は要旨に明示されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。 - 関連手法として language-conditioned robot policies、hierarchical policies、human-robot interaction における gaze/gesture 利用、first-person view を用いた intent grounding などが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongjun Lee, Juheon Choi, Dong Kyu Shin, Sinjae Kang, Kimin Lee

分類: cs.RO, cs.AI

原文アブストラクト

For natural human-robot interaction, a robot must understand human intent expressed not only through language but also through nonverbal signals such as gestures and gaze. However, current robot policies rely on language instructions as the sole interface for conveying intent, leaving nonverbal signals unused and placing the full burden of communication. In this work, we present EDITH, a robot framework that captures the human's nonverbal signals through continuous streams of first-person view and gaze from smart glasses, and uses them alongside language instructions as inputs to the robot policy. Our hardware system streams the human's first-person view, gaze, and speech to the robot in real time, transcribing the speech into language instructions. To handle these rich but noisy signals, we design a hierarchical policy in which a high-level policy infers the human's intent and produces a sequence of subtasks, where each subtask is represented as a fine-grained instruction paired with a keyframe that grounds the intent in the scene (e.g., the frame where the human points at the target object). A low-level policy then executes these subtasks. In our experiments on human-robot interactive tasks, EDITH enables the robot to act on the human's nonverbal signals even when intent is expressed only briefly, and significantly reduces user effort to convey intent compared to using language instructions alone. Visit our project page for source code and real-robot demo videos.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI