日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

継続学習arXiv:2609.23492

CE$^4$L: 自己視点・他者視点・両視点の継続学習

CE$^4$L: Continual Ego, Exo, and Ego-Exo Learning

シェア:XThreadsFacebookLINEはてブBluesky

自己視点・他者視点・両視点が混在する動画認識のための継続学習ベンチマークCE$^4$Lを提案し、視点間対応や非同期性に対応するパラメータ効率の良い手法VISTAを開発した。

詳しい要約

1. どんなもの?

本論文は、embodied agent の知覚が video-based かつ multi-view (ego, exo, ego-exo) で、task と viewpoint が同時に変化する continual な状況を扱う。 - 既存の continual learning (CL) は exo-only の認識タスクに偏っている。 - そこで Continual Ego, Exo, and Ego-Exo Learning (CE$^4$L) という unified multi-view CL benchmark を導入。 - 4 つの代表タスク: cross-view referenced skill assessment, temporal action segmentation, cross-view association, action anticipation & planning。 - さらに parameter-efficient baseline の Video Incremental Subspace-routed Task Adapters (VISTA…

2. 先行研究と比べてどこがすごい?

従来の CL benchmark は exo-only 認識が中心で、実世界の coupled shift 下の挙動を覆い隠していた。 - CE$^4$L は ego, exo, ego-exo の multi-view 設定を統合し、4 タスクを横断する。 - 先行 CL benchmark にほぼ無かった課題を明示: cross-view correspondence, view-dependent asynchrony, heterogeneous semantic objectives。 - 代表的な CL 手法が CE$^4$L 設定で有効性が大きく変動することを実験で示し、VISTA は一貫して競争力があり overall で state-of-the-art。

3. 技術・手法の肝は?

VISTA は parameter-efficient な baseline。 - task-specific な更新を lightweight adapters に保存する。 - training-free routing を residual distance で行う。 - ルーティング先は task-specific whitened subspaces で、second-order statistics から推定する。 - これにより task と viewpoint の同時変化に対応する。

4. どうやって有効だと検証した?

CE$^4$L 上で extensive experiments を実施。 - 代表的な CL 手法の有効性が設定間で大きく変動することを示した。 - VISTA は一貫して競争力があり、overall で state-of-the-art 性能を達成。 - 詳細な評価プロトコルや指標は要旨からは不明。

5. 議論はある?

CE$^4$L は cross-view correspondence, view-dependent asynchrony, heterogeneous semantic objectives など、先行 CL benchmark にほぼ無い課題を浮き彫りにする。 - 代表 CL 手法の有効性が CE$^4$L 設定で大きく変動する点が議論の焦点。 - VISTA は一貫して競争力があるが、限界や失敗ケース、計算コスト、スケーラビリティの議論は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。 - 関連手法として continual learning (CL), parameter-efficient fine-tuning (adapter), multi-view learning, ego-exo learning, temporal action segmentation, action anticipation & planning の定番文献を挙げる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hongwei Yan, Kanglei Zhou, Yuchen Liu, Qingyu Shi, Yi Zhong, Liyuan Wang

分類: cs.CV, cs.AI

原文アブストラクト

Perception for embodied agents is video-based, often multi-view (ego, exo, or both), and inherently continual, with simultaneous task and viewpoint shifts. Yet continual learning (CL) remains dominated by exo-only recognition tasks, obscuring behavior under these real-world coupled shifts. We introduce Continual Ego, E}xo, and Ego-Exo Learning (CE$^4$L), a unified multi-view CL benchmark spanning four representative tasks: cross-view referenced skill assessment, temporal action segmentation, cross-view association, and action anticipation & planning. CE$^4$L highlights challenges largely absent in prior CL benchmarks, including cross-view correspondence, view-dependent asynchrony, and heterogeneous semantic objectives. To this end, we propose Video Incremental Subspace-routed Task Adapters (VISTA), a parameter-efficient baseline method that stores task-specific updates in lightweight adapters and performs training-free routing via residual distance to task-specific whitened subspaces estimated from second-order statistics. Extensive experiments demonstrate the significantly varied efficacy of representative CL methods across CE$^4$L settings, while VISTA is consistently competitive and achieves state-of-the-art overall performance. Our source code for benchmarks and methods is available at https://github.com/AnAppleCore/CE4L .

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI