日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚表現学習arXiv:2605.16743

LACE: クロスエンボディメント学習のための潜在視覚表現

LACE: Latent Visual Representation for Cross-Embodiment Learning

シェア:XThreadsFacebookLINEはてブBluesky

人間とロボットの視覚表現を潜在空間で整列させるフレームワークを提案し、ロボットのデモデータが少ない場合でも人間のデモデータを活用できるようにした。

詳しい要約

1. どんなもの?

- 人間とロボットの embodiment 間の視覚的ギャップを埋める cross-embodiment learning のフレームワーク LACE を提案。 - 自己教師あり学習 (SSL) バックボーンの潜在空間で人間とロボットの視覚表現を整列。 - 共有身体部位の対応を sparse supervision として利用し、forward kinematics で自動取得。 - 単一のロボットデモンストレーションで学習可能。 - ゼロショット転移や低データ領域でロボットポリシーが人間データを活用できる。

2. 先行研究と比べてどこがすごい?

- 従来の SSL バックボーンは一般的な物体のクラス間意味論は捉えるが、人間とロボットの手の対応を確立できないことを示した。 - LACE は人間とロボットの視覚表現を潜在空間で整列させることで、この問題を解決。 - ゼロショット転移において LACE-DINO を用いたポリシーが DINO を用いたものより大幅に優れる (65%)。 - 低データ領域や分布外環境でも一貫した性能向上を実現。

3. 技術・手法の肝は?

- SSL バックボーンの潜在空間で人間とロボットの視覚表現を整列。 - 共有身体部位間の対応を sparse supervision として利用。 - 対応は forward kinematics により自動取得可能。 - semantic alignment loss で対応する特徴の分布をマッチングし、patch-level 監督を semantic-level 整列に昇華。 - Gram loss で事前学習特徴の品質を保持。

4. どうやって有効だと検証した?

- ゼロショット転移実験で LACE-DINO が DINO より 65% 上回ることを示した。 - 低データ領域および分布外環境での一貫した性能向上を確認。 - 単一のロボットデモンストレーションで学習が可能であることを実証。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: DINO (SSL バックボーン)、および cross-embodiment learning に関する先行研究。 - 関連手法: 自己教師あり学習 (SSL) バックボーン、forward kinematics を利用した対応取得。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yoo Sung Jang, Kanchana Ranasinghe, Cristina Mata, Yichi Zhang, Jorge Mendez-Mendez, Michael S. Ryoo

分類: cs.RO

原文アブストラクト

Cross-embodiment learning from human demonstrations is hindered by the visual gap between human and robot embodiments. While self-supervised learning (SSL) backbones encode rich inter-class semantics of general objects, we show they fail to establish correspondence between human and robot hands. We propose LACE, a framework that aligns human and robot visual representations in the latent space of these backbones by leveraging correspondences between shared body parts across embodiments as sparse supervision. These annotations can be automatically obtained via forward kinematics, and single robot demonstration is sufficient to train the model. Our semantic alignment loss matches distributions incurred by corresponding features, lifting patch-level supervision to semantic-level alignment, while a Gram loss preserves pretrained feature quality. This alignment enables robot policies to leverage abundant human data when robot demonstrations are scarce: in zero-shot transfer, policies using LACE-DINO outperform those using DINO by a large margin (65\%), with consistent gains in low-data regimes and out-of-distribution environments.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI