日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

一人称視点データセットarXiv:2511.19684

IndEgo: 産業現場の協働作業を対象とした一人称視点アシスタント用データセット

IndEgo: A Dataset of Industrial Scenarios and Collaborative Work for Egocentric Assistants

シェア:XThreadsFacebookLINEはてブBluesky

組立・物流・検査・木工など産業タスクを二人で協働する様子を一人称・三人称視点で収録し、視線・音声・動作などのマルチモーダル注釈を付けた大規模データセットを構築した。

詳しい要約

1. どんなもの?

- 産業現場の作業を対象としたマルチモーダルな egocentric/exocentric データセット IndEgo を提案 - 対象作業は assembly/disassembly、logistics and organisation、inspection and repair、woodworking など - 規模は egocentric 3,460 録画(約197時間)、exocentric 1,092 録画(約97時間) - 2名の作業者が協働する collaborative work に重点 - egocentric 側は eye gaze、narration、sound、motion などのリッチなマルチモーダル情報を含む - actions、summaries、mistake annotations、narrations の注釈、metadata、処理済み出力(eye gaze、hand pose、semi-dense point cloud)を提供 - procedural/non-procedural task understanding、Mistake Detec…

2. 先行研究と比べてどこがすごい?

- 産業タスクと協働作業に特化した egocentric/exocentric 両方を含む点が特徴 - eye gaze、narration、sound、motion など多様なモダリティを egocentric 録画に付与 - mistake annotations や hand pose、semi-dense point cloud などの処理済み出力を提供 - procedural/non-procedural task understanding、Mistake Detection、reasoning-based QA のベンチマークを整備 - 既存データセットとの具体的な比較・差分は要旨からは不明

3. 技術・手法の肝は?

- 産業現場での egocentric および exocentric 録画を収集 - 2名協働作業のシナリオを重点的に含める設計 - eye gaze、narration、sound、motion などのマルチモーダルデータを記録 - actions、summaries、mistakes、narrations の詳細注釈を付与 - eye gaze、hand pose、semi-dense point cloud などの処理済み出力を生成 - Mistake Detection、Question Answering、collaborative task understanding のベースライン評価を実施

4. どうやって有効だと検証した?

- Mistake Detection、Question Answering、collaborative task understanding のベースライン評価を実施 - 最先端のマルチモーダルモデルにとって本データセットが挑戦的であることを示す結果 - 具体的なモデル名、評価指標、数値は要旨からは不明

5. 議論はある?

- 最先端マルチモーダルモデルでも Mistake Detection、QA、協働タスク理解が難しいことを示唆 - 産業現場の協働作業理解における課題を提示 - データセットの限界、バイアス、倫理面などの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として Mistake Detection、reasoning-based Question Answering、collaborative task understanding のマルチモーダルモデル研究 - egocentric データセットの代表例として Ego4D などの一般名の関連研究 - 産業向け egocentric データセットや procedural task understanding の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vivek Chavan, Yasmina Imgrund, Tung Dao, Sanwantri Bai, Bosong Wang, Ze Lu, Oliver Heimann, Jörg Krüger

分類: cs.CV, cs.AI, cs.HC, cs.RO

原文アブストラクト

We introduce IndEgo, a multimodal egocentric and exocentric dataset addressing common industrial tasks, including assembly/disassembly, logistics and organisation, inspection and repair, woodworking, and others. The dataset contains 3,460 egocentric recordings (approximately 197 hours), along with 1,092 exocentric recordings (approximately 97 hours). A key focus of the dataset is collaborative work, where two workers jointly perform cognitively and physically intensive tasks. The egocentric recordings include rich multimodal data and added context via eye gaze, narration, sound, motion, and others. We provide detailed annotations (actions, summaries, mistake annotations, narrations), metadata, processed outputs (eye gaze, hand pose, semi-dense point cloud), and benchmarks on procedural and non-procedural task understanding, Mistake Detection, and reasoning-based Question Answering. Baseline evaluations for Mistake Detection, Question Answering and collaborative task understanding show that the dataset presents a challenge for the state-of-the-art multimodal models. Our dataset is available at: https://huggingface.co/datasets/FraunhoferIPK/IndEgo

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI