VLA-MOPD：マルチタスクVLAポリシー統合のためのオンポリシー蒸留

- 本論文は、複数のタスク特化型 VLA (Vision-Language-Action) スペシャリストを単一の共有ポリシーへ統合するためのプロトコル VLA-MOPD (VLA Multi-teacher On-Policy Distillation) を提案する。 - 対象は flow-matching ベースの VLA ポリシーであり、タスクまたはスイートごとの expert を獲得した後、共有 student が複数の frozen teacher から学ぶ。 - 実ロボット/シミュレーションでのマルチタスク統合を扱う研究。

- 混合タスク強化学習は trajectory-level の sparse な credit しか与えられない点、offline distillation は student が訪れる observation をカバーできない点、endpoint distillation は中間の action-generation state を監督しない点を課題として挙げる。 - これに対し、student の rollouts 上で各 visited observation と中間 ODE state を teacher に問い合わせる on-policy な多教師蒸留を行う点が特徴。 - 結果として endpoint action distillation (98.15%) を上回る 98.9% の mean success-once を LIBERO で達成。

- タスク/スイート expert 獲得後、共有 student が robot rollouts を収集。 - 各 visited observation と中間 ODE state で、instruction-routed な frozen teacher に問い合わせる。 - detached な per-flow-step transition targets を用い、masked local matching loss で有効な action chunk を監督。 - 任意の reference-policy term により他タスクの保持 (retention) を支援。

- LIBERO: 各タスク1 trajectory から開始し、mean success-once を 75.4% から 98.9% へ改善 (endpoint action distillation は 98.15%)。 - RoboTwin 2.0: mean success を 73.0% から 89.3% へ改善。 - Piper robot: 2 回の consolidation round で平均 success を 70.0% から 90.0% へ改善。 - Spatial-adaptation の near-matched 研究で、reference matching により Object suite の低下を 13.2 points から 3.0 points に抑制。

- reference-policy term が他タスク保持に有効であることを Spatial-adaptation 研究で示す一方、その重み付けや適用条件の詳細は要旨からは不明。 - 各教師への instruction routing の設計や、teacher 数増加時のスケーラビリティ、実機 Piper での限界は要旨からは不明。 - 混合タスク RL や offline distillation との系統的な比較は限定的で、要旨からは不明。

- endpoint action distillation (endpoint distillation) との詳細比較。 - offline distillation および mixed-task reinforcement learning の関連研究。 - flow-matching VLA ポリシーの基盤手法 (flow-matching VLA)。 - ベンチマークとして LIBERO、RoboTwin 2.0 の関連論文。 - 実機 Piper robot を用いた VLA 研究。