日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

HRIarXiv:2601.14587

説明可能なOOHRI:拡張現実アフォーダンスとしてロボットの能力と限界を伝える

Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances

シェア:XThreadsFacebookLINEはてブBluesky

拡張現実と視覚言語モデルを用いて、ロボットの行動可能性と制約を視覚的に提示するインターフェースを開発し、ユーザーがロボットの限界を正確に理解し、混合主導で問題解決できることを示した。

詳しい要約

1. どんなもの?

- ロボットの能力と制約をARで可視化するX-OOHRIを提案。 - 視覚的シグニファイア、ラジアルメニュー、色分け、説明タグで行動可能性と制約を伝達。 - オブジェクト指向構造に物体特性とロボット限界をエンコードし、VLMで説明をオンザフライ生成。 - シミュレーション環境内で空間的に整合した仮想ツインを直接操作可能。 - 物理ロボットと統合し、ピックアンドプレースから高レベル指示まで多様なユースケースを実演。

2. 先行研究と比べてどこがすごい?

- 従来のロボットはブラックボックスで、能力や限界の理解が困難。 - 既存研究と比べ、ARを用いてロボットの行動可能性と制約を視覚的に説明する点が新しい。 - オブジェクト指向構造とVLMを組み合わせ、リアルタイム説明生成を実現。 - 仮想ツインの直接操作により、空間的に整合したインタラクションを可能に。 - 低レベルから高レベルまでの多様なタスクに対応。

3. 技術・手法の肝は?

- 物体特性とロボット限界をオブジェクト指向構造にエンコード。 - 視覚言語モデル(VLM)を用いて説明をオンザフライで生成。 - ARインターフェースで視覚的シグニファイア、ラジアルメニュー、色分け、説明タグを提示。 - シミュレーション環境内で空間的に整合した仮想ツインを直接操作。 - エンドツーエンドパイプラインを物理ロボットに統合。

4. どうやって有効だと検証した?

- ユーザスタディを実施。 - 参加者がオブジェクト指向コマンドを効果的に発行できることを確認。 - ロボットの限界について正確なメンタルモデルを形成できることを確認。 - 混合イニシアチブによる解決に従事することを確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language Model (VLM)、Augmented Reality (AR) を用いたHRI、Object-Oriented HRI (OOHRI) が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lauren W. Wang, Mohamed Kari, Parastoo Abtahi

分類: cs.HC, cs.RO

原文アブストラクト

Human interaction is essential for issuing personalized instructions and assisting robots when failure is likely. However, robots remain largely black boxes, offering users little insight into their evolving capabilities and limitations. To address this gap, we present explainable object-oriented HRI (X-OOHRI), an augmented reality (AR) interface that conveys robot action possibilities and constraints through visual signifiers, radial menus, color coding, and explanation tags. Our system encodes object properties and robot limits into object-oriented structures using a vision-language model, allowing explanation generation on the fly and direct manipulation of virtual twins spatially aligned within a simulated environment. We integrate the end-to-end pipeline with a physical robot and showcase diverse use cases ranging from low-level pick-and-place to high-level instructions. Finally, we evaluate X-OOHRI through a user study and find that participants effectively issue object-oriented commands, develop accurate mental models of robot limitations, and engage in mixed-initiative resolution.

関連論文

  1. 1パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  2. 2日経クロステック、NVIDIA取締役会のファンCEO解任議論を報道 同社は同日、辞任を発表業界動向
  3. 3Boston Dynamics、GlobalFoundriesでAtlasを試験へ 半導体製造で2027年初頭から半導体・GPU
  4. 4NVIDIA、ヒトの動きをロボットに適応する「SOMA Retargeter」を紹介研究・技術
  5. 5ティアフォーとTUM、Autowareでミュンヘン大型路線バスの自動運転開発を支援提携・買収

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI