より良い方策が監視を難しくする：VLM成功判定におけるカバレッジシフト

- 固定した vision-language model (VLM) がロボットの成功判定を行う状況で、policy の改善が監視の難しさに与える影響を調べる研究。 - 20-seed の tray-placement 実験で、訓練は simulator-verified successes のみを選択。 - 成功率は 66.8% から 97.0% へ上昇し、accepted hover failures は実行の 5.0% から 0.9% へ減少。 - しかし残存 hover に対する judge の acceptance は 50.0% で、untrained sampling の 31.1% より高い。 - この条件付き監視感度の変化を coverage shift と呼ぶ。

- 従来は policy の性能向上と failure detectability を別々に扱いがち。 - 本研究は「より良い policy が監視しやすいとは限らない」ことを示す点が新しい。 - 絶対的な miss 率が下がっても、残存 failure に対する条件付き miss 率が悪化しうることを実験的に示す。 - 要旨からは、既存の監視研究との直接比較の詳細は不明。

- 固定 VLM judge の下で policy を改善し、どの failure が judge に到達するかを追跡。 - simulator-verified successes のみで訓練する controlled 20-seed tray-placement 実験。 - 残存 hover failure の位置（tray rim の下/上）に着目した boundary probe を実施。 - 9 judges・1,392 stimuli に広げた diagnosis と、8 settings の judge-filtered experiments を実施。 - absolute misses、conditional misses、audit coverage を併記する報告を提案。

- 20-seed tray-placement 実験で成功率と accepted hover failures の変化を測定。 - boundary probe で below-rim hovers は 148/160 受理、above-rim hovers は 0/160 受理。 - 9 judges・1,392 stimuli の broader diagnosis で傾向を確認。 - 8 settings の judge-filtered experiments で state-dependent acceptance の異質な効果を示す。

- 残存 failure は tray rim の下に多く、grasped cube 下の gap を隠しうる。 - task improvement と failure detectability を区別すべきと議論。 - 絶対 miss だけでなく conditional miss と audit coverage の同時報告を動機づける。 - 要旨からは、coverage shift の一般性や限界についての詳細な議論は不明。

- 要旨で参照されている vision-language model (VLM) ベースの success monitoring 研究。 - simulator-verified successes を用いた policy learning と failure detection の関連研究。 - judge-filtered experiments や state-dependent acceptance を扱う研究。 - 同分野の定番として robot policy evaluation と failure detection の基礎研究。