パラメータマージによる視覚-言語-行動ロボット方策の頑健なファインチューニング

- 大規模で多様なデータセットで学習した generalist robot policy（Vision-Language-Action モデル）を対象に、新タスクの限られた demonstration で finetuning する際の汎化性能劣化を防ぐ手法を提案する研究。 - 単一の policy が新スキルを獲得しつつ、pretraining で得た広範な能力を保持することを目指す。 - 手法は finetuned model と pretrained model の重みを interpolate（model merging）するという単純な戦略。

- 従来の finetuning では、限られた demonstration に overfit し、generalist 能力を失うだけでなく新タスク内での汎化も損なわれる問題があった。 - 提案手法は追加学習や複雑な正則化なしに、pretrained model の generalist 能力と新タスク性能を単一モデルで両立させる点が特徴。 - 新タスクの out-of-distribution 変種において、pretrained model と finetuned model の両方を上回る性能を示すと主張。

- finetuned model の重みと pretrained model の重みを線形に interpolate する model merging を適用。 - これにより、新タスクへの適応と pretraining 由来の汎化能力のバランスを取る。 - 追加のアーキテクチャ変更や複雑な学習手順を必要としない簡便さが肝。

- 広範な simulated experiments と real-world experiments を実施。 - 新タスクの out-of-distribution 変種において、pretrained model および finetuned model との比較で有効性を検証。 - model merging の性能が pretraining data 量に応じてスケールすること、lifelong learning 設定で継続的に新スキルを獲得しつつ既存の generalist 能力を維持できることも示した。

- model merging の性能が pretraining data 量とともにスケールする点が議論されている。 - lifelong learning 設定で、以前に学習した generalist 能力を犠牲にせず新スキルを継続獲得できることが示唆される。 - 具体的な限界や失敗ケース、interpolation 比率の選定方法などは要旨からは不明。

- 要旨で直接参照・比較されている個別研究は明記されていない。 - 関連手法として model merging / weight interpolation の研究、generalist robot policy（Vision-Language-Action モデル）の pretraining 研究、lifelong learning に関する研究を次に読む候補として挙げる。