日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

動画検索arXiv:2606.17298

手術室クリップの推論型テキスト動画検索:アクション駆動デジタルツインによる実現

Reasoning Text-to-Video Retrieval for Operating Room Clips via Action-Driven Digital Twins

シェア:XThreadsFacebookLINEはてブBluesky

手術室の動画から、暗黙的なクエリ(例:クリッピング直前のステップ)に基づいて該当クリップを検索する手法を提案。クリップをアクション駆動デジタルツインに変換し、LLMによる想像的検索と証拠に基づく修正で推論を可能にした。

詳しい要約

1. どんなもの?

- 手術室(OR)のテキスト→ビデオ検索を可能にする手法 OR3 を提案。 - 安全上重要な事象は定型構造に従わないことがあるため、暗黙的クエリ(例:クリッピング直前のステップ)の推論検索を扱う。 - クリップを action-driven digital twins (ActDTs) に変換し、同時並行する subject-action-object 三つ組を非重複時間区間にまとめる。 - ペアエンコーダによるクロスモーダル照合ではなく、LLM がクエリから仮想 ActDT を生成する imagination-based retrieval を行う。 - 単一エンコーダによる intra-modal 照合と、ActDT 向け hard negatives で学習。 - evidence-grounded refinement で上位候補との不一致に基づき仮想 ActDT を修正する。

2. 先行研究と比べてどこがすごい?

- 既存手法は global embeddings に依存し、暗黙的クエリの推論ができない。 - OR3 は imagination-based retrieval により、推論を要するクエリでも検索可能。 - クロスモーダル照合ではなく intra-modal 照合を単一エンコーダで行う点が異なる。 - ActDT に特化した hard negatives で学習し、時間的行動推論を可能にする。 - ベンチマークで 57.6 R@1 / 77.3 R@5 を達成し、最強ベースラインを上回る。

3. 技術・手法の肝は?

- クリップを action-driven digital twins (ActDTs) に変換。 - 同時並行する subject-action-object 三つ組を非重複時間区間にグループ化。 - LLM がクエリから仮想 ActDT を生成(imagination-based retrieval)。 - 単一エンコーダで intra-modal 照合を実施。 - ActDT 向け hard negatives を用いて学習。 - evidence-grounded refinement で上位候補との不一致に基づき仮想 ActDT を修正し、手順固有パターンを捉える。

4. どうやって有効だと検証した?

- MM-OR から構築したベンチマークを使用。 - 386 クリップ(ロボティック膝手術)に対し、4 推論カテゴリにわたる 276 暗黙的クエリを含む。 - OR3 は 57.6 R@1 と 77.3 R@5 を達成し、最強ベースラインを上回った。 - 視覚的に類似した OR ビデオクリップ間の細粒度識別が可能であることを示す。

5. 議論はある?

- 暗黙的クエリに対する時間的行動推論の有効性を示す。 - 安全上重要な事象の検索における fine-grained discrimination の重要性を議論。 - 限界や失敗例、計算コスト、一般化可能性については要旨からは不明。

6. 次に読むべき論文は?

- MM-OR(ベンチマーク元データセット) - テキスト→ビデオ検索の一般的な手法(global embeddings ベース) - LLM を用いた imagination-based retrieval 関連研究 - hard negatives を用いた intra-modal 照合関連研究 - 手術室ビデオ検索・行動認識関連の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiqing Shen, Hao Ding, Mathias Unberath

分類: cs.CV

原文アブストラクト

Text-to-video retrieval in operating rooms (OR) is an enabling technology for OR safety, as it allows stakeholders to retrieve and inspect recordings of specific events. However, because the most safety-critical events may not follow the common structure, to unlock its full potential text-to-video retrieval must be able to handle implicit queries that require reasoning to identify the right video (e.g., the step right before clipping). However, existing methods rely on global embeddings that cannot reason over such queries. We propose OR3, a text-to-video retrieval method that converts clips into action-driven digital twins (ActDTs), grouping concurrent subject-action-object triplets under non-overlapping temporal intervals. Moreover, rather than cross-modal matching through paired encoders, OR3 performs imagination-based retrieval where an LLM generates hypothetical ActDTs from queries. This enables intra-modal matching via a single encoder trained with ActDT-tailored hard negatives. Finally, evidence-grounded refinement revises imagined ActDTs based on discrepancies with top candidates to capture procedure-specific patterns. We construct a benchmark from MM-OR with 276 implicit queries across four reasoning categories over 386 clips from robotic knee procedures. OR3 achieves 57.6 R@1 and 77.3 R@5, outperforming the strongest baseline. These results demonstrate that OR3 enables fine-grained discrimination between visually similar OR video clips through temporal action reasoning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI