ホーム › 論文 › Look and Tell: 自己中心視点と他者中心視点を横断するマルチモーダル・グラウンディングのためのデータセット マルチモーダル・グラウンディング 2025/10/1 arXiv:2510.22672
Look and Tell: 自己中心視点と他者中心視点を横断するマルチモーダル・グラウンディングのためのデータセット Look and Tell: A Dataset for Multimodal Grounding Across Egocentric and Exocentric Views
スマートグラスと固定カメラで視線・音声・映像を同期収録し、台所での指示伝達を自己中心視点と他者中心視点で比較できるマルチモーダルデータセットを構築した。
詳しい要約 1. どんなもの? - 新規 multimodal dataset「Look and Tell」を提案
- egocentric と exocentric の視点を横断して referential communication を研究するための benchmark
- Meta Project Aria smart glasses と固定カメラで、gaze・speech・video を同期収録
- 25 名の参加者が kitchen で食材を特定するよう相手に指示
- 3D scene reconstruction と組み合わせて提供
- 収録 3.67 時間、2,707 件の注釈付き referential expressions を含む
- 2D vs. 3D、ego vs. exo の空間表現の違いが multimodal grounding に与える影響を評価する狙い
2. 先行研究と比べてどこがすごい? - 先行研究との具体的比較は要旨からは不明
- 特徴として、egocentric と exocentric を同一タスクで同期収録している点が挙げられる
- Meta Project Aria smart glasses による gaze・speech・video の同期
- 固定カメラによる exocentric 視点の同時取得
- 3D scene reconstruction を組み合わせた benchmark 設計
- 2D vs. 3D、ego vs. exo の空間表現比較を可能にする点が独自性として示唆される
- ただし既存 dataset との定量的な優位性は要旨からは不明
3. 技術・手法の肝は? - Meta Project Aria smart glasses と stationary cameras を用いた同期収録
- gaze・speech・video を同期して取得
- 25 名の参加者が kitchen で食材特定を指示する referential communication タスク
- 3D scene reconstruction を組み合わせて空間表現を構築
- 2D vs. 3D、ego vs. exo の異なる spatial representations を比較できる benchmark を設計
- 2,707 件の referential expressions に注釈を付与
- 詳細なアノテーション手法やモデル設計は要旨からは不明
4. どうやって有効だと検証した? - 有効性の検証方法は要旨からは不明
- dataset の規模として 3.67 時間の収録、2,707 件の注釈付き referential expressions を報告
- 25 名の参加者による kitchen での指示タスクを実施
- 2D vs. 3D、ego vs. exo の空間表現が multimodal grounding に与える影響を評価する benchmark として位置づけ
- 具体的な評価実験や baseline の結果は要旨からは不明
5. 議論はある? - 議論の詳細は要旨からは不明
- 想定される論点として、2D vs. 3D、ego vs. exo の空間表現の違いが grounding 性能に与える影響
- embodied agents が situated dialogue を理解・参加するための基盤としての有用性
- dataset の規模や参加者数、タスク設定の一般化可能性に関する議論は要旨からは不明
- 倫理面やプライバシー面の議論は要旨からは不明
6. 次に読むべき論文は? - 要旨で参照・比較されている研究は明示されていない
- 関連手法として以下が考えられる(一般名)
- egocentric vision の dataset 研究
- exocentric 視点との比較研究
- multimodal grounding の benchmark 研究
- referential communication の dataset 研究
- 3D scene reconstruction を用いた embodied AI 研究
- 具体的な論文名は要旨からは不明
※ AIが要旨から生成した要約です。正確性は原文をご確認ください。
著者: Anna Deichler , Jonas Beskow
分類: cs.CV, cs.CL, cs.RO
原文アブストラクト We introduce Look and Tell, a multimodal dataset for studying referential communication across egocentric and exocentric perspectives. Using Meta Project Aria smart glasses and stationary cameras, we recorded synchronized gaze, speech, and video as 25 participants instructed a partner to identify ingredients in a kitchen. Combined with 3D scene reconstructions, this setup provides a benchmark for evaluating how different spatial representations (2D vs. 3D; ego vs. exo) affect multimodal grounding. The dataset contains 3.67 hours of recordings, including 2,707 richly annotated referential expressions, and is designed to advance the development of embodied agents that can understand and engage in situated dialogue.