ロボットマニピュレーションのための人間参加型オンライン棄却サンプリング

- ロボットマニピュレーション向けの post-training 手法 **Hi-ORS** を提案する論文 - VLA モデル (pi-base policy) を実世界で fine-tune するための枠組み - rejection sampling と reward-weighted supervised training を組み合わせる - 非同期の inference-training framework で human-in-the-loop 修正を可能にする - 3つの実世界タスク・2つの embodiment で評価

- RL による VLA の fine-tuning は value 推定の不正確さと中間ステップの supervision の疎さで不安定 - IL は学習が容易だが offline 性質ゆえ性能が劣る - Hi-ORS は rejection sampling で負報酬サンプルを除外し value 推定を安定化 - reward-weighted supervised objective で密な中間ステップ supervision を付与 - RL と IL の両 baseline を effectiveness と efficiency の両面で大きく上回ると主張

- online fine-tuning 中に負の報酬を持つサンプルを filtering する rejection sampling - reward-weighted supervised training objective による密な中間ステップ supervision - 非同期の inference-training framework で柔軟な online human-in-the-loop 修正を実現 - 人手修正を明示的な guidance として error-recovery 行動の学習に利用 - pi-base policy をベースに fine-tune する構成

- 3つの実世界タスクと2つの embodiment で評価 - pi-base policy を fine-tune し contact-rich manipulation を習得 - 実世界でわずか1.5時間の training で達成 - RL および IL の baseline と effectiveness・efficiency の両面で比較 - 複雑な error-recovery 行動を実行できる test-time scalability も確認

- 実世界 1.5 時間という短時間での fine-tuning を実現した点を強調 - test-time での error-recovery 行動による性能向上を報告 - 具体的な限界や失敗事例、タスク依存性については要旨からは不明 - human-in-the-loop 修正のコストや負荷に関する議論は要旨からは不明

- RL による VLA fine-tuning の不安定性を扱う関連研究 - imitation learning による manipulation policy 学習の代表的手法 - rejection sampling を用いた policy 学習・fine-tuning の先行研究 - human-in-the-loop 修正を用いたロボット学習の関連研究 - pi-base policy および VLA モデル (vision-language-action) の原論文