実行ログがロボット進捗を評価するVLM審判を揺るがす

- ロボットの実行動画を評価する VLM judge の判定が、フレーム横に置かれたテキスト（execution log）に影響されるかを調べた研究。 - 進捗が実際には停滞している clip に「進捗している」という log 一行を付与。 - Gemini、Qwen、GPT の judge で判定がどう変わるかを測定。

- VLM がロボット動画を採点する状況で、付随テキストが判定を変えうることを示した点。 - 先行研究との具体的比較は要旨からは不明。 - 中立文と比べ、進捗主張 log が誤判定を 10〜35 percentage points 増やすことを複数 judge で確認。

- 実際には進捗が失われている clip に対し、進捗主張の log 一行を追加する操作。 - 比較対象として neutral line や無関係な log line を用いる。 - 「log は誤りかもしれない」という一行警告を加える条件も検証。 - 偽の task complete 主張も別途試す。

- Gemini、Qwen、GPT の judge で、正しい判定が progress に反転する割合を neutral line と比較。 - 警告文により効果の大部分が除去されることを確認。 - 偽 task complete 主張は Qwen の正判定の半数を反転、無関係 log では 1/10。Gemini には検出可能な効果なし。

- log テキストが VLM judge の判定を sway するリスクを示す。 - 警告文が緩和策になりうるが、judge 間で感受性に差（Qwen と Gemini）。 - 効果の機序や他モデルへの一般化は要旨からは不明。

- 要旨で参照されている Gemini、Qwen、GPT の各 VLM judge の評価手法。 - 関連する VLM による robot video 評価や progress grading の研究。 - 具体的な論文名は要旨からは不明。