グラフ畳み込みネットワークによるオープンワールド人間行動セグメンテーション

- 日常活動理解のための human-object interaction segmentation を対象に、未知の行動が出現する open-world 設定へ拡張する問題を扱う研究。 - open-world action segmentation 問題を正式に定義し、unseen actions を検出・セグメント化する構造化フレームワークを提案。 - 応用先として assistive robotics、healthcare、autonomous systems を想定。

- 既存の learning-based 手法は closed-world action segmentation では高い性能を示すが、novel actions が現れる open-world シナリオへの汎化が困難。 - 人間活動の多様性ゆえ全行動カテゴリの訓練データ収集は非現実的で、手動アノテーションなしに out-of-distribution actions を検出・セグメント化する必要がある点を動機とする。 - 提案法は state-of-the-art action segmentation models に対し複数の open-set 評価指標で改善を示す。

- Enhanced Pyramid Graph Convolutional Network (EPGCN) と、頑健な時空間特徴 upsampling のための新規 decoder module。 - Mixup-based training により out-of-distribution データを合成し、手動アノテーションへの依存を排除。 - 新規 Temporal Clustering loss により in-distribution actions をまとめ、out-of-distribution samples を遠ざける。

- Bimanual Actions と 2 Hands and Object (H2O) の2つの challenging な human-object interaction recognition datasets で評価。 - 複数の open-set 評価指標で state-of-the-art action segmentation models を上回り、open-set segmentation (F1@50) で 16.9%、out-of-distribution detection (AUROC) で 34.6% の相対改善。 - 各提案要素の影響を調べる in-depth ablation study を実施し、最適構成を特定。

- 提案フレームワークの各コンポーネントの寄与を ablation study で分析し、open-world action segmentation に最適な構成を同定。 - 具体的な限界や失敗事例、計算コスト等の議論は要旨からは不明。

- 比較対象として言及される state-of-the-art action segmentation models 全般。 - 関連手法として Enhanced Pyramid Graph Convolutional Network (EPGCN)、Mixup-based training、Temporal Clustering loss の基礎となる手法群。 - 評価に用いられた Bimanual Actions dataset および 2 Hands and Object (H2O) dataset に関連する研究。