残差フロー誘導による強化学習：器用なマニピュレーションのための適応手法

- ロボティクスにおける dexterous manipulation のための強化学習フレームワーク。 - 名称は Residual Flow Steering (RFS)。 - 事前学習済みの generative policy（flow matching ベース）を適応させる。 - 模倣学習で事前学習したポリシーの汎化性能と展開時の性能を改善する。 - データ効率の良い fine-tuning を実現する。

- 従来の behavior cloning は diffusion models や flow matching で多峰性行動分布を表現。 - しかし事前学習ポリシーは汎化が限定的で、展開時に追加の fine-tuning が必要。 - RFS は事前学習のグローバル探索の利点を保ちつつ、局所的な実行エラーを迅速に修正。 - 残差行動と潜在ノイズ分布を同時最適化する点が新しい。 - データ効率の良い適応を可能にする。

- 事前学習済み flow-matching policy を steering する。 - 残差行動 (residual action) と潜在ノイズ分布 (latent noise distribution) を jointly optimize。 - 局所的な refinement は residual corrections で実現。 - グローバルな exploration は latent-space modulation で実現。 - これにより相補的な探索形式を提供。 - 事前学習ポリシーの表現力豊かな構造を保持。

- dexterous manipulation タスクで有効性を実証。 - シミュレーションと実世界の両方で効率的な fine-tuning を示す。 - 事前学習済みベースポリシーを適応させる際の性能を評価。 - 詳細な実験設定やベースラインは要旨からは不明。

- 事前学習のグローバル探索の利点と局所エラー修正のバランスが重要。 - データ効率の良い適応が可能であることを主張。 - 限界や失敗事例、計算コストなどの議論は要旨からは不明。 - 実世界展開における課題は要旨からは不明。

- 要旨で参照されている研究: behavior cloning, diffusion models, flow matching。 - 関連手法: Residual Flow Steering (RFS) 自体。 - 同分野の定番: imitation learning, reinforcement learning for dexterous manipulation。 - 具体的な論文名は要旨からは不明。