Kepler-Encoder-v0.1: ロボットのためのマルチモーダル埋め込みモデルに向けて

- ロボットの身体状態を1つのモダリティとして扱う、robot-first なマルチモーダル encoder の提案。 - vision, proprioception, force/torque を learned-query cross-attention layer で単一の shared latent に融合する。 - 学習は masked cross-modal prediction による自己教師ありで、LeJEPA/SIGReg objective を用いる。 - 評価時は vision のみを入力とし、vision-only latent が pixel に無い情報を保持するかを問う。 - 単一の embodiment-agnostic encoder で4体のロボットをカバーする。

- 単一フレームの raw vision 特徴は force を R^2 0.10 以下でしか読めないという弱点がある。 - 提案の vision-only latent は、held-out scene で end-effector state、特に force を raw frozen-ViT 特徴と compute-matched vision-only control の両方を有意に上回って復元する。 - motor state では最強の vision baseline と統計的に同等だが、latent geometry が state を追跡する唯一の特徴である。 - 単一の embodiment-agnostic encoder が4体をカバーし、data-matched control によりこの広さがデータ量ではなく embodiment diversity に由来することを示す。

- vision, proprioception, force/torque を learned-query cross-attention layer で融合し、shared latent を得る。 - masked cross-modal prediction による自己教師あり学習を LeJEPA/SIGReg objective の下で行う。 - 評価時は vision のみを入力とする点が設計上の核心。 - 学習時に state を融合させることで、vision-only latent が pixel に無い情報を運ぶかを検証する。 - 単一の embodiment-agnostic encoder で複数ロボットを扱う。

- RH20T corpus 上で held-out scene を用いて評価。 - vision-only latent が end-effector state と force を復元する性能を、raw frozen-ViT 特徴および compute-matched vision-only control と比較。 - motor state では最強の vision baseline と統計的に同等であることを確認。 - latent geometry が state を追跡するかを確認。 - 単一 encoder が4体をカバーすること、data-matched control で embodiment diversity 由来であることを示す。 - 凍結 latent の cross-modal prediction error を training-free invalid-state monitor として評価(AUROC 0.90 on out-of-range states, 0.69 on scene-swapped states)。 - diffusion de…

- 単一 timestep の force recovery は modest であると明記されている。 - 本報告は single-timestep case の検証に留まり、native-rate temporal fusion は次のステップとされる。 - 評価時 vision のみで state 情報がどこまで運ばれるかという問いに対し、カメラが最も弱い領域で yes と結論。 - motor state では vision baseline と統計的に同等であり、優位性は限定的。 - 絶対的な force recovery の限界や、時間方向の融合の必要性が議論点として残る。

- LeJEPA/SIGReg objective に関する研究。 - masked cross-modal prediction を用いる自己教師あり学習の関連手法。 - raw frozen-ViT 特徴を baseline とする vision 研究。 - diffusion decoder である PixNerd。 - RH20T corpus を用いたロボットマルチモーダル学習の関連研究。 - native-rate temporal fusion に向けた時系列マルチモーダル encoder の研究。