CKT-WAM: ワールドアクションモデル間のパラメータ効率的な文脈知識転送

- World Action Models (WAMs) 間の知識転移フレームワーク CKT-WAM を提案。 - パラメータ効率の良い Context Knowledge Transfer を実現。 - teacher WAM の知識を text embedding 空間の compact context として student WAM に注入。 - 出力模倣や hidden-state matching ではなく、条件付けテキスト埋め込みに付加する方式。 - LIBERO-Plus で 86.1% の成功率、学習可能パラメータは 1.17% のみ。 - 実世界の long-horizon 操作タスクでも平均 83.3% の成功率を達成。

- 従来の distillation は出力模倣や dense hidden-state matching に依存し、異種 WAM 間では latent interface の不一致や適応コストが課題。 - CKT-WAM は text embedding 空間の compact context を介することで、これらの制約を回避。 - アーキテクチャ変更を最小限に抑えつつ、zero-shot 汎化を一貫して改善。 - 1.17% の trainable parameters で full fine-tuning に迫る性能を達成。 - 異種 WAM 間の知識転移をパラメータ効率良く実現する点が新しい。

- teacher WAM の中間 hidden states を抽出。 - compressors の learnable-query cross attention (LQCA) でトークン数を削減。 - always-on generalized adapter、軽量 router、sparsely activated specialized adapters で変換。 - 得られた context を student の conditioning textual embeddings に付加。 - これにより student に知識を注入し、アーキテクチャ変更を最小化。

- LIBERO-Plus ベンチマークで評価。 - zero-shot 汎化性能の一貫した改善を確認。 - 86.1% の total success rate を達成し、full fine-tuning に迫る性能を確認。 - 実世界の long-horizon 操作タスク4種で平均 83.3% の成功率を達成。 - コードは https://github.com/YuhuaJiang2002/CKT-WAM で公開。

- 要旨からは不明。 - 異種 WAM 間の latent interface 不一致への対処や、転移の限界については言及されていない。 - 実世界タスクの詳細や失敗事例、計算コストの議論は要旨からは不明。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として knowledge distillation、parameter-efficient transfer learning、World Action Models (WAMs)、LIBERO-Plus ベンチマークが挙げられる。 - 同分野の定番として Vision-Language-Action (VLA) モデルやロボット操作のための generative control に関する研究が考えられる。