日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2311.08957

見えなかったものが見えるようになった:ソーシャルロボットにおける視覚対応対話の実装

I Was Blind but Now I See: Implementing Vision-Enabled Dialogue in Social Robots

シェア:XThreadsFacebookLINEはてブBluesky

大規模言語モデルとリアルタイム視覚入力を組み合わせ、Furhatロボットで視覚対応対話システムを実装し、6件の対話実験を通じてその有効性を検討した。

著者: Giulio Antonio Abbo, Tony Belpaeme

分類: cs.RO, cs.AI, cs.HC

原文アブストラクト

In the rapidly evolving landscape of human-computer interaction, the integration of vision capabilities into conversational agents stands as a crucial advancement. This paper presents an initial implementation of a dialogue manager that leverages the latest progress in Large Language Models (e.g., GPT-4, IDEFICS) to enhance the traditional text-based prompts with real-time visual input. LLMs are used to interpret both textual prompts and visual stimuli, creating a more contextually aware conversational agent. The system's prompt engineering, incorporating dialogue with summarisation of the images, ensures a balance between context preservation and computational efficiency. Six interactions with a Furhat robot powered by this system are reported, illustrating and discussing the results obtained. By implementing this vision-enabled dialogue system, the paper envisions a future where conversational agents seamlessly blend textual and visual modalities, enabling richer, more context-aware dialogues.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI