Ego-METAS: 自己中心視点のオンライン・マルチモーダル・省エネルギー時系列行動分割ベンチマーク

本論文は、常時稼働する embodied agents 向けの energy-aware perception を評価するための初の benchmark である Ego-METAS を提案する。 - 内容: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation の benchmark。 - データ: EgoExo4D, CMU-MMAC, CaptainCook4D から 100 時間以上の untrimmed egocentric video を統合。 - モダリティ: RGB, audio, gaze, IMU, monochrome camera の 5 種類。 - タスク: 各 timestep でセンサを動的に選択し、厳密な energy budget 下で online temporal action segmentation を行う。 - 提供物: unified splits, cleaned annotations, pre-extracted features, base…

先行研究は計算資源が無制限であると仮定することが多く、energy-aware perception は未探索だった。 - 本 benchmark は、resource-constrained devices を想定し、energy budget を厳守する online 設定を初めて標準化。 - 既存の policy-learning 手法は主に trimmed clips 向けで、continuous, untrimmed 環境への適応が難しいことを示す。 - 一方で、random routing のような単純な動的融合でも、精度と energy budget のバランスに有効であることを明らかにする。

技術の肝は、online temporal action segmentation タスクにおいて、各 timestep でセンサを動的に選択する routing policy を評価する枠組みを提供すること。 - 5 モダリティ (RGB, audio, gaze, IMU, monochrome camera) を統合。 - hardware-representative energy budgets を厳守。 - unified splits, cleaned annotations, pre-extracted features を提供。 - 多様な baseline routing policies を用意。 - 最適な routing はシナリオ依存であることを示唆。

Ego-METAS の評価により、以下の知見を得た。 - 最適な routing はシナリオに強く依存する。 - 既存の policy-learning 手法は trimmed clips 向けで、continuous, untrimmed 環境への適応が困難。 - しかし、random routing のような単純な動的融合でも、精度と energy budget のバランスに有効。 - 具体的な評価指標や実験設定の詳細は要旨からは不明。

議論として、energy-aware perception の重要性と、既存手法の限界が指摘されている。 - 最適な routing はシナリオ依存であり、汎用的な policy の設計が課題。 - 既存の policy-learning 手法は trimmed clips を前提としており、untrimmed 環境への適応が難しい。 - 単純な動的融合でも一定の有効性があるが、より robust で cost-aware な policy の開発が必要。 - 具体的な議論の詳細や限界については要旨からは不明。

要旨で参照/比較されている研究や関連手法を挙げる。 - EgoExo4D, CMU-MMAC, CaptainCook4D のデータセット。 - 既存の policy-learning 手法 (trimmed clips 向け)。 - random routing などの baseline routing policies。 - 同分野の定番として、online temporal action segmentation や multimodal fusion の研究。 - 具体的な論文名は要旨からは不明。