ロバストなロボット汎化のための忠実度を考慮したデータ構成

- 大規模で視覚的に均質な dataset で学習した generalist robot policy が抱える shortcut learning と OOD 汎化劣化への対処を狙う研究。 - generative data augmentation による多様性導入ではなく、real と synthetic の data composition を設計問題として扱う。 - Coherent Information Fidelity Tuning (CIFT) という framework を提案し、data composition を最適化問題として定式化する。 - 併せて Multi-View Video Augmentation (MVAug) という generative engine を導入する。

- 従来の generative data augmentation は visual diversity を優先し、information fidelity を犠牲にしがちで learning signal を壊しうると指摘。 - 単純に real と synthetic を混ぜる naive mixing ではなく、fidelity-aware な composition を原理的に行う点が新しい。 - data synthesis 単体ではなく composition の設計が robust generalization の重要要素だと示す立場を取る。 - 具体的な prior 手法名の比較は要旨からは不明。

- data composition を optimization problem として扱う CIFT を提案。 - dataset の feature-space geometry に基づく実用的な Information Fidelity の proxy を用いる。 - この proxy により、training stability が劣化する phase transition を Decoherence Point として同定する。 - MVAug により causally disentangled な data spectrum を合成し、tuning に用いる。

- CIFT を $\pi_0$ や Diffusion Policy などの policy architecture に適用して評価。 - OOD success rate が 54% 以上改善したと報告。 - 評価 dataset や benchmark の詳細、baseline 設定は要旨からは不明。

- visual diversity と information fidelity の trade-off をどう扱うかが中心的論点。 - Decoherence Point という training stability の phase transition の存在と、その実用的同定が議論の対象。 - Information Fidelity の proxy の妥当性や、他 architecture・実環境への一般性は要旨からは不明。 - 限界や failure case の議論は要旨からは不明。

- $\pi_0$ および Diffusion Policy の原論文。 - generative data augmentation を用いた robot policy 学習の関連研究。 - shortcut learning と OOD generalization に関する研究。 - causal disentanglement を用いた data augmentation の関連手法。