Robot-DIFT: 接触の多いロボットマニピュレーションのための対応感度の高い拡散特徴

- 接触を伴うロボットマニピュレーション向けの視覚バックボーン - 名前は Robot-DIFT - 拡散モデル(diffusion)の特徴を決定論的に変換し、リアルタイム制御に使えるようにした - 意味論だけでなく correspondence(対応関係)の手がかりを政策に与える - 対象タスクは pose offset、boundary、pre-contact alignment など最終ミリメートルの精度が要る操作

- 従来の視覚エンコーダは意味的不変性が強く、correspondence の手がかりを抑制しがち - diffusion features は密な対応に強いが、確率的・遅延・表現ドリフトで直接利用は非現実的 - Robot-DIFT は決定論的・単一パスで diffusion の correspondence prior を保持 - vision-language、self-supervised、geometry-oriented、diffusion の各ベースラインを contact-sensitive タスクで上回る - S2-FPN が diffusion prior を置き換えるのではなく引き出すことを示した

- Manifold Distillation により、ノイズ条件付き diffusion Teacher をクリーン入力・単一パスの Student に変換 - Teacher の特徴多様体(feature manifold)を Student が保持するよう蒸留 - Spatial–Semantic Feature Pyramid Network (S2-FPN) を導入 - S2-FPN は Student デコーダの coarse-to-fine 特徴を融合し、視覚トークン化 - 視覚トークンは意味的文脈と細かい接触詳細の両方を政策に露出

- RoboCasa、LIBERO-10、実機ロボットで評価 - contact-sensitive タスクにおいて各種ベースラインを上回る性能を確認 - バックボーンと読み出し部を制御的に交換する実験を実施 - S2-FPN が diffusion correspondence prior を「引き出す」役割を果たすことを示した

- diffusion features の stochasticity、latency、representation drift が直接利用の障壁であると指摘 - 意味的不変性と correspondence 感度のトレードオフを議論 - S2-FPN が prior を置き換えるのではなく活用する点を強調 - 限界や失敗事例、計算コストの詳細は要旨からは不明

- 要旨で参照・比較されている研究: vision-language、self-supervised、geometry-oriented、diffusion baselines - 関連手法: diffusion features、Manifold Distillation、Spatial–Semantic Feature Pyramid Network (S2-FPN) - ベンチマーク: RoboCasa、LIBERO-10 - 同分野の定番として contact-rich manipulation 向けの correspondence-sensitive 表現学習や visual backbone 設計に関する論文