ArcFlow: 複数のソルバー予算に対応するフローポリシーの学習

- Flow-matching policy を複数の solver budget にわたって単一ポリシーで訓練する手法 ArcFlow を提案する研究。 - 推論コストは solver steps 数で調整できるが、単一の固定 budget での RL は安価な budget での性能劣化や pretrained policy の one-step 挙動消失を招きうる問題に対処。 - 指定した solver budget 範囲全体で 1 つの flow policy を訓練する deployment-aware なアルゴリズム。 - DM Control、manipulation、locomotion で評価。

- 単一固定 solver budget での RL を行う従来の flow-matching policy 訓練に対し、budget 範囲全体を考慮する点が新しい。 - 5 つの flow-policy baselines と比較し、30 タスク中 25 タスクで各手法の報告訓練設定下で最高の mean one-step return を達成。 - 安価な deployment budget での劣化を隠さず、pretrained policy の one-step 挙動を消さない設計を狙う。 - アーキテクチャと deployment-time cost を変えずに実現。

- Action-Ratio-Clip Flow (ArcFlow) は action-aligned supervision、budget exposure、worst-budget checkpoint selection を組み合わせる。 - reconstruction 目的では bridge が temporal probes を 1 つの surrogate ratio と action ごとの PPO-style clip に集約し、boundary residual が deployed one-step reconstruction error に厳密に一致。 - Cycling により shared field を deployment 範囲に晒す。 - selection は性能の floor を最適化。 - native velocity 目的では multi-budget endpoint supervision を同じ原理で適用し、native update を置き換えない。

- DM Control、manipulation、locomotion の 30 タスクで評価。 - 5 つの flow-policy baselines と比較し、25/30 タスクで最高の mean one-step return。 - component studies で boundary supervision、fixed-grid bridge、budget exposure、deployment selection の相補的改善を確認。 - 各手法の報告訓練設定下での比較。

- 単一固定 budget の RL が安価 budget での劣化を隠し、pretrained policy の one-step 挙動を消しうる点を動機として議論。 - deployment-budget-aware training が低 step 制御と複数推論コストを 1 ポリシーで担う有効な道であると主張。 - 具体的な限界や失敗事例は要旨からは不明。

- 比較対象の flow-policy baselines 各手法（要旨では個別名は不明）。 - PPO-style clip の元となる PPO。 - flow-matching policy の代表的手法（一般名として flow matching / diffusion policy 系）。 - DM Control を用いた制御研究。