テスト時観測介入による再想像：視覚モデル予測制御のための妨害物に頑健な世界モデル予測

- ロボットが現在の観測と計画行動から将来観測を「想像」する world model を用いた Visual Model Predictive Control の研究。 - 訓練時に稀な物体や背景などの novel visual distractors に対して world model が脆くなる問題に着目。 - 推論時に観測を介入して再想像する test-time 戦略 ReOI (Reimagination with Observation Intervention) を提案。 - 行動検証 (action verification) の文脈で、world model の予測に基づき望ましい行動計画を選択する設定を扱う。

- 従来の world model は novel distractors により行動結果予測が乱され、下流の planning や action verification が失敗しうる。 - ReOI は追加学習ではなく test-time の観測介入で distractor を除去し、訓練分布に近づける点が新しい。 - 予測後に distractor を再導入し視覚的一貫性を保つことで、下流の planning/verification にそのまま利用可能。 - 実験では novel distractors 存在下でタスク成功率を最大3倍改善し、介入なしの world model 予測に依拠する action verification を大きく上回った。

- 現在のロボット観測に対し、world model 予測中に物理的に不自然に劣化するシーン要素を特定して visual distractor を検出。 - 検出した distractor を除去するよう現在観測を修正し、訓練分布に近い観測を得る。 - 修正観測で将来結果を「再想像 (reimagine)」し、その後 distractor を post-hoc に再導入して視覚的一貫性を回復。 - 再導入済みの予測を下流の planning と verification に渡すシンプルな test-time パイプライン。

- ロボット manipulation タスク群で action verification の設定を用いて検証。 - verifier が world model の予測に基づいて望ましい行動計画を選択する状況で評価。 - in-distribution と out-of-distribution の両方の visual distractors に対する頑健性を確認。 - novel distractors 存在下でタスク成功率が最大3倍向上し、介入なしの action verification を有意に上回った。

- 要旨からは不明。 - ただし test-time 介入であり、world model 自体の再学習やアーキテクチャ変更を要さない点が実用上の利点として示唆される。 - distractor 検出の失敗や再導入の整合性など限界については要旨からは不明。

- 要旨で直接参照/比較されている個別研究は明示されていない。 - 関連手法として world model を用いた Visual Model Predictive Control、action verification、test-time intervention 系の研究を挙げるのが妥当。 - 具体的な論文名は要旨からは不明。