ビデオが誤読するとき：探索的操作トレースQAのための読み取りヒューリスティックの閉ループ蒸留

本論文は、Exploratory Manipulation Trace QA (EMT-QA) という新しい設定を定式化する。これは、探索的な操作の同期された video と proprioception が与えられたとき、probe によって明らかになった latent precondition の下での minimal-success action chain を予測するタスクである。例えば、ロボットが施錠された引き出しを引いて失敗し、ロックを開けた後に成功する場合、失敗した pull が latent precondition（引き出しが施錠されている）を明らかにし、minimal-success action chain は [lock-open, drawer-pull] となる。この trace を正しく読むことが chain を回復する前提となる。しかし、最先端の VLMs や embodied multimodal LLMs でも、raw video、raw proprioception、またはその組み合わせから chain を信頼性高く回復できない。そこで、Close…

先行研究と比べて、最先端の VLMs や embodied multimodal LLMs が raw video、raw proprioception、またはその組み合わせから minimal-success action chain を信頼性高く回復できないのに対し、本手法は DRH を用いることで chain accuracy を +0.38 から +0.47 向上させる。また、同じ DRH が one-shot programmatic classifiers の唯一の仕様としても機能し、prompted VLM と同等の性能を達成する点がすごい。

技術や手法の肝は、Closed-Loop Trace Distillation である。これは、タスクごとの coding agent がラベル付き訓練 trace を検査し、trace 上の一行の自然言語プロンプトである Distilled Reading Heuristic (DRH) を蒸留する。推論時には agent を呼び出さず、モデルの重みも更新せず、凍結された VLM が raw trace と DRH をプロンプト入力として受け取る。

3つの simulator タスクと2つの real-robot タスクにおいて、DRH が best raw-modality baseline に対して chain accuracy を +0.38 から +0.47 改善することを示した。また、同じ DRH が one-shot programmatic classifiers の唯一の仕様として機能し、prompted VLM と同等の性能を達成することを確認した。

要旨からは不明。

要旨で参照/比較されている研究や関連手法として、state-of-the-art VLMs や embodied multimodal LLMs が挙げられる。また、同分野の定番として、video question answering や embodied AI における multimodal learning の研究が考えられる。