RoboSSM: 状態空間モデルによるスケーラブルな文脈内模倣学習

- 本論文は RoboSSM を提案する研究。 - in-context imitation learning (ICIL) のための scalable なレシピ。 - Transformer の代わりに state-space models (SSM) を用いる。 - 対象はロボットの few-shot 適応。 - 少数の demonstration からなる prompt でタスクを学習。 - deployment 時の parameter updates を不要にする枠組み。

- 近年の ICIL 手法は Transformer に依存。 - 計算上の制約がある。 - 訓練時より長い prompt では性能が低下しやすい。 - RoboSSM は Transformer を Longhorn に置換。 - Longhorn は state-of-the-art な SSM。 - linear-time inference と強い extrapolation 能力を持つ。 - 長い context の prompt に適する。 - 著者らは SSM を ICIL に適用した初の結果と主張。

- ICIL の backbone を Transformer から SSM へ置換する設計。 - 具体的には Longhorn を採用。 - linear-time inference により長い prompt の処理を狙う。 - 訓練時より長い context への extrapolation を活用。 - 長い context を test-time に扱うことで汎化を狙う。 - unseen タスクへの対応。 - long-horizon タスクへの対応。 - 詳細な学習目的や prompt 構成は要旨からは不明。

- LIBERO benchmark 上で多様な実験を実施。 - Transformer ベースの ICIL 手法と比較。 - unseen タスクへの汎化が向上。 - long-horizon タスクへの汎化が向上。 - test-time に長い context を扱えることによる効果を示す。 - 実験設定やベースラインの詳細は要旨からは不明。

- SSM が ICIL の効率的かつ scalable な backbone になり得ることを示す。 - 長い context の扱いが Transformer の弱点を補う可能性。 - 議論として想定される点は要旨からは不明。 - 計算コストの具体的比較。 - 実機ロボットでの検証。 - 他の SSM やタスクへの一般性。 - これらは要旨に明示されていない。

- 比較対象である Transformer ベースの ICIL 手法。 - 具体的な手法名は要旨からは不明。 - 採用した SSM である Longhorn の原論文。 - ICIL の代表的手法として in-context imitation learning 関連研究。 - 評価に用いた LIBERO benchmark の論文。 - 長文脈モデルとして state-space models (SSM) の関連研究。