日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データセットarXiv:2606.03686

DeepSpeak-Agenticデータセット:人間と具現化AIエージェントの対話記録

The DeepSpeak-Agentic Dataset

シェア:XThreadsFacebookLINEはてブBluesky

人間と具現化AIエージェントの半構造化対話を37時間以上収録したビデオデータセットを構築し、AIエージェントの自動フォレンジック識別や人間とエージェントの相互作用の分析に活用する。

詳しい要約

1. どんなもの?

- 本論文は、DeepSpeak-Agenticというデータセットを提示している。 - これは、人間とembodied AI agentとの半構造化会話を含む37時間以上のビデオデータセットである。 - このデータセットは、AI agentの自動forensic identification(audio, video, text)の評価、human-agent interactionの性質の研究、およびembodied AI agentを支えるlarge-language modelsやAI-generated voices and facesの将来の進歩のためのベンチマークを提供する。 - また、スケーラブルなdata-capture systemも貢献しており、これはagentsを作成し、人間のcrowd workersと自動的にペアにし、指定されたシナリオでaudiovisual conversationsを記録し、結合ストリーム内でhumanとagentを識別・分離する。

2. 先行研究と比べてどこがすごい?

- 要旨からは不明。先行研究との具体的な比較は述べられていない。

3. 技術・手法の肝は?

- 技術や手法の肝は、スケーラブルなdata-capture systemにある。 - このシステムは、agentsを作成し、自動的に人間のcrowd workersとペアにし、指定されたシナリオでaudiovisual conversationsを記録し、結合ストリーム内でhumanとagentを識別・分離する。 - これにより、37時間以上の半構造化会話ビデオデータセットが構築される。

4. どうやって有効だと検証した?

- 要旨からは不明。有効性の検証方法は明記されていない。

5. 議論はある?

- 要旨からは不明。議論や限界については述べられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究はない。 - 同分野の定番として、large-language models、AI-generated voices and faces、embodied AI agentsに関する研究が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Sarah Barrington, Maty Bohacek, Hany Farid

分類: cs.AI

原文アブストラクト

We present DeepSpeak-Agentic, a dataset of videos comprising over 37 hours of semi-structured conversations between a human and an embodied AI agent. We use this dataset to evaluate the automatic forensic identification (audio, video, or text) of AI agents, study the nature of human-agent interactions, and provide a benchmark for future advances in the large-language models and AI-generated voices and faces that power embodied AI agents. We also contribute a scalable data-capture system that creates agents, automatically pairs them with human crowd workers, records audiovisual conversations across specified scenarios, and identifies and separates the human and agent in the combined stream.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI