TOPReward: トークン確率を隠れたゼロショット報酬として用いるロボティクス

- ロボット学習向けの dense な進捗報酬を、訓練なしで生成する手法 TOPReward を提案。 - 事前学習済み Video-Language Models (VLMs) の内部 token probabilities を利用し、数値進捗を生成させるのではなく、指示されたタスクが完了した尤度を測定。 - 動画 prefix と言語 instruction を入力とし、タスク固有の報酬モデル訓練や手動進捗ラベルを不要とする。 - ManiRewardBench（130 タスク、4 ロボットプラットフォーム）と Open X-Embodiment で評価。 - 下流応用として success detection と offline reward-weighted behavior cloning を支援。

- 従来は手動進捗注釈、タスク固有デモ、キュレーションされたロボットデータで訓練した報酬モデルに依存。 - TOPReward は training-free で、VLM の内部 token probabilities を報酬に変換する点が新しい。 - オープンソースモデル上で prior training-free VLM reward 手法を大幅に上回る。 - 訓練済み reward-model baseline と進捗推定指標で競争力があり、報酬モデル訓練を不要にする。 - 報酬が指定 instruction に敏感で、時間 index だけでは説明できないことを示す。

- 事前学習済み VLM に対し、動画 prefix と言語 instruction を与え、指示タスク完了の尤度を内部 token probabilities から測定。 - 数値進捗値を生成させるのではなく、token 確率を dense reward signal に変換。 - タスク固有の報酬モデル訓練や手動進捗ラベルを必要としない training-free 手法。 - 潜在的な video-language understanding を報酬に変換する。 - 具体的な token 選択や確率計算の詳細は要旨からは不明。

- ManiRewardBench を構築：130 のユニークタスク、4 つのロボットプラットフォームを含む実世界 manipulation ベンチマーク。 - Open X-Embodiment データセットでも評価。 - オープンソースモデル上で prior training-free VLM reward 手法を大幅に上回る。 - 訓練済み reward-model baseline と progress-estimation metrics で競争力。 - 報酬が instruction に敏感で、時間 index だけでは説明できないことを追加分析で確認。 - success detection と offline reward-weighted behavior cloning の下流応用を支援。

- 報酬が指定 instruction に敏感であること、時間 index だけでは説明できないことを分析。 - 訓練済み reward model と競争力がある一方、training-free である利点を主張。 - 限界や失敗ケース、計算コスト、VLM 依存性などの議論は要旨からは不明。 - 倫理的影響やロボット安全面の議論は要旨からは不明。

- 要旨で参照/比較されている prior training-free VLM reward 手法（具体名は要旨からは不明）。 - 訓練済み reward-model baseline（具体名は要旨からは不明）。 - ManiRewardBench と Open X-Embodiment に関連する研究。 - 同分野の定番として Video-Language Models (VLMs)、offline reward-weighted behavior cloning、success detection に関する論文。