STORM: ロボットマニピュレーションのためのスロットベースのタスク認識物体中心表現

- ロボットマニピュレーションのための軽量なobject-centric適応モジュールSTORMを提案。 - 凍結したvisual foundation modelに少数のtask-aware slotsを追加。 - 大規模backboneのfull tuningを避け、効率的な二段階学習戦略を採用。 - object discoveryベンチマークとロボットマニピュレーションタスクで評価。

- 凍結またはfine-tuned foundation model特徴を直接用いる場合や既存のobject-centric表現と比較し、制御性能と視覚シフトへの汎化を改善。 - 密な表現に欠けるobject-level構造を明示的に導入し、堅牢性と制御性を向上。 - 大規模backboneのfull tuningを不要にし、効率的に汎用特徴を洗練。

- 凍結backbone上にobject-centric表現の少数層をlanguage embeddingsを用いたvisual-semantic pretrainingで訓練。 - その後、下流のmanipulation policyとjointly adaptしタスク整合。 - 段階的学習によりdegenerate slot形成を防ぎ、意味的一貫性を保持。 - task-aware slotsが構造的・意味的バイアスをpolicy learningに注入。

- object discoveryベンチマークとロボットマニピュレーションタスクで実験。 - 制御性能と視覚シフト（distractors, textures, lighting）への汎化を評価。 - 凍結/微調整foundation model特徴や既存object-centric表現との比較で有効性を検証。

- 要旨からは不明。

- 要旨で参照/比較されている研究：visual foundation models、object-centric representations、fine-tuned foundation model features。 - 関連手法：Slot Attentionなどobject-centric learningの定番。