日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2605.24481

OmniEgo-R^2: CVPR 2026 EgoCrossチャレンジのためのルーティング推論フレームワーク

OmniEgo-R$^2$: A Routed Reasoning Framework for the 1st Cross-Domain EgoCross Challenge at CVPR 2026

シェア:XThreadsFacebookLINEはてブBluesky

手術、産業、エクストリームスポーツ、動物視点など複数領域の自己中心視点動画推論を扱うEgoCrossチャレンジで、時間的証拠の正規化や領域非依存の能力ルーティング等を備えた統合推論パイプラインOmniEgo-R^2を提案し、2位を獲得した。

詳しい要約

1. どんなもの?

- 本論文は、CVPR 2026のEgoVisワークショップで開催される第1回Cross-Domain EgoCross Challengeに向けた、OmniEgo-R$^2$というルーティング推論フレームワークを提案する。 - EgoCrossは、手術、産業、エクストリームスポーツ、動物視点の一人称視点動画を対象に、マルチモーダル大規模言語モデルがクロスドメインで推論できるかを評価する。 - 著者らはSource-LimitedトラックとOpen-Sourceトラックの両方で2位を獲得した。 - タスクを単純な多肢選択視覚質問応答ではなく、堅牢なクロスドメイン身体性動画推論問題として定式化している。

2. 先行研究と比べてどこがすごい?

- 従来の多肢選択視覚質問応答タスクとして扱うのではなく、クロスドメイン身体性動画推論問題として再定式化した点が新しい。 - 時間的境界の曖昧さ、クロスドメイン意味粒度の不一致、近接選択肢下での決定不安定性という3つの課題を特定し、これらに対処する統合パイプラインを提案している。 - 既存研究との具体的な性能比較は要旨からは不明。

3. 技術・手法の肝は?

- OmniEgo-R$^2$は、時間的証拠正規化、ドメイン非依存能力ルーティング、構造化された知覚-ダイナミクス-決定推論、境界認識選択肢検証、防御的答案校正からなる統合ルーティング推論パイプラインである。 - 各EgoCrossドメインでQwen3-VL-4B-SFTチェックポイントを視覚言語バックボーンとして使用し、軽量なテスト時推論および解析プログラムでラップする。

4. どうやって有効だと検証した?

- EgoCrossチャレンジのSource-LimitedトラックとOpen-Sourceトラックで評価され、最終提出はSource-Limitedで66.35%、Open-Sourceで66.77%の全体精度を達成し、両リーダーボードで2位となった。 - 具体的な検証方法の詳細は要旨からは不明。

5. 議論はある?

- 要旨からは、提案手法の限界や議論の詳細は不明。 - 課題として、時間的境界の曖昧さ、クロスドメイン意味粒度の不一致、近接選択肢下での決定不安定性を挙げている。

6. 次に読むべき論文は?

- 要旨で参照されている研究は明示されていない。 - 関連手法として、Qwen3-VL-4B-SFT、およびEgoCrossチャレンジの他参加手法が挙げられる。 - 同分野の定番として、マルチモーダル大規模言語モデルを用いた一人称視点動画推論に関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zixu Li, Zhiwei Chen, Zhiheng Fu, Wenbo Wang, Yupeng Hu, Weili Guan, Liqiang Nie

分類: cs.CV

原文アブストラクト

The 1st Cross-Domain EgoCross Challenge at EgoVis, CVPR 2026 evaluates whether multimodal large language models can reason over egocentric videos across surgery, industry, extreme sports, and animal perspective. We achieved second place in both the Source-Limited and Open-Source tracks. In this report, we formulate EgoCross as a robust cross-domain embodied video reasoning problem rather than a simple multiple-choice visual question answering task. We identify three key challenges: (C1) temporal boundary ambiguity, where critical state transitions are sparsely sampled and often occur between frames; (C2) cross-domain semantic granularity mismatch, where the same capability requires different domain-specific visual grammar; and (C3) decision instability under close options, where long multimodal reasoning can select unsupported distractors or produce malformed outputs. To address them, we propose OmniEgo-R$^2$ (Omnidomain Egocentric Routed Reasoning), a unified routed reasoning pipeline consisting of temporal-evidence normalization, domain-agnostic capability routing, structured perception--dynamics--decision reasoning, boundary-aware option verification, and defensive answer calibration. OmniEgo-R$^2$ uses the Qwen3-VL-4B-SFT checkpoints on each EgoCross domain as the visual-language backbone, and wraps them with lightweight test-time reasoning and parsing programs. Our final submissions obtain 66.35% overall accuracy in the Source-Limited track and 66.77% in the Open-Source track, ranking second in both leaderboards. The codes are available on https://github.com/Lee-zixu/OmniEgo-R2

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI