コンパクトなロボットポリシーに必要なのは細粒度の視覚表現

多タスクmanipulation policyの性能差がarchitecture・scale・pretrained priorsのどれに由来するか切り分けられない問題に対し、visual representationが主因だと主張する研究。 - CoRP (Compressed Representation Policy) を提案。 - 48.9M parametersの意図的にcompactなpolicy。 - vision-language modelもvideo-generative priorも使わない。 - representation extractorとflow-matching action generatorに分解。 - 性能: LIBEROで97.0%、RoboTwin 2.0 Clean/Randomizedで75.78%/73.36%。 - これは40.9-163.6倍大きいシステムに匹敵する。

従来のmulti-task manipulation policy比較はarchitecture・scale・pretrained priorsが同時に異なり、性能要因を特定できなかった。 - 本研究はaction generatorを固定し、extractorの性質を1つずつ変える統制実験で要因を分離。 - その結果、性能の大半はvisual representationに由来し、parameter scaleやgenerative priorsはほぼ偶発的だと主張。 - 40.9-163.6倍大きいシステムに匹敵する性能を48.9M parametersで達成。

CoRPはrepresentation extractorとflow-matching action generatorにfactorizeされるcompact policy。 - 統制実験でextractorの性質を1つずつ変化させる。 - pretrained initialization: random ViT-S/14はLIBEROで78.1%、ImageNet ResNet-34は74.5%に低下。 - pretrainingだけでは不十分で、encoderをfreezeすると19.8ポイント低下。 - compression: 各viewを48 tokensにresamplingすると全patch tokensより良い (97.0% vs 83.2%)。 - variational information bottleneckはhard token budgetより悪く、LIBERO-Goalを95.8%から33.0%に低下させる。 - language conditioningはobservationがgoalを曖昧にする場合のみ寄与 (LIBERO-…

LIBEROとRoboTwin 2.0 (Clean/Randomized) で評価。 - CoRPはLIBERO 97.0%、RoboTwin 2.0 Clean 75.78%、Randomized 73.36%。 - action generatorを固定しextractorの性質を1つずつ変えるablationを実施。 - pretrained initialization、freezing、compression、variational information bottleneck、language conditioningの効果を測定。 - これらの統制実験でvisual representationの寄与を検証。

compact policyが機能する条件として、representationがpretrained・task-adapted・compressedであることを主張。 - parameter scaleやgenerative priorsはほぼ偶発的と議論。 - language conditioningの寄与はobservationがgoalを曖昧にする場合に限られ、RoboTwin 2.0ではobservationが明確なため除去するとわずかに改善。 - variational information bottleneckがinstruction-dependent token selectionを抑制し性能を大きく下げる点を議論。 - その他の限界や議論は要旨からは不明。

要旨で参照/比較されている研究・手法を挙げる。 - LIBERO benchmark。 - RoboTwin 2.0 benchmark。 - ViT-S/14。 - ImageNet ResNet-34。 - flow-matching action generator。 - variational information bottleneck。 - vision-language model。 - video-generative prior。