ARS: ロボット学習のためのエージェント型報酬システム

- ロボットの行動がタスク進捗をどう変化させたかを推定する進捗報酬モデリングのための推論フレームワーク。 - 追加の報酬モデル訓練なしに、汎用vision-language models (VLMs) を活用する。 - オフライン軌道とタスク指示が与えられると、適応的視覚検査でイベント提案と検証を行う。 - サブエージェントがタスク関連イベントのタイムラインを提案し、主エージェントが検証・修正してフレームごとの進捗を推定する。 - オプションで終端結果ラベルや視覚参照を取り入れ、外部報酬モデルの進捗推定を監査することも可能。

- 従来の報酬モデリングは追加訓練が必要なことが多いが、ARSは訓練なしで汎用VLMを利用する。 - 制御されたsemantic-mismatchベンチマークで、既存の報酬ベースラインが単純なpick-and-placeでも誤った物体操作に偽の進捗を割り当てることを明らかにした。 - ARSはこれらの誤りをよりよく抑制し、シミュレーションのポリシー学習でベースラインを上回る。 - 実ロボットの長期的タスク（多ネジ締め）で、混合品質のオフライン経験からのポリシー学習を可能にすることを示した。

- 適応的視覚検査（adaptive visual inspection）をイベント提案と検証に使用。 - サブエージェントがタスク関連イベントのタイムラインを提案し、主エージェントが検証・修正する。 - 主エージェントがフレームごとの進捗を推定する。 - オプションで終端結果ラベルや視覚参照を判断に組み込む。 - 外部報酬モデルの進捗推定を監査する機能も持つ。

- 27B VLMを用いた制御されたsemantic-mismatchベンチマークで評価。 - シミュレーションでの下流ポリシー学習で評価。 - 実ロボットでの評価を実施。 - 実ロボットでは、産業用洗濯機組立ラインの実規模レプリカで多ネジ締めの長期的ポリシー学習を実証。 - 混合品質のオフライン経験からの学習をサポートすることを示した。

- 構造化された推論と検証が、汎用VLMのロボット報酬モデリングへの有用性を向上させる可能性を示唆。 - ベンチマークで既存報酬ベースラインが誤った物体操作に偽の進捗を割り当てる問題を指摘。 - ARSがそれを抑制し、シミュレーションと実ロボットで有効性を示す。 - 具体的な限界や失敗ケース、計算コスト、スケーラビリティに関する議論は要旨からは不明。

- 要旨で参照/比較されている研究：semantic-mismatchベンチマーク、評価された報酬ベースライン（具体的名称は要旨からは不明）。 - 関連手法：progress reward modeling、vision-language models (VLMs)、reward-model training。 - 同分野の定番：ロボット学習における報酬モデリング、逆強化学習、模倣学習、オフライン強化学習。