日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.04061

CLAP: 人間の動画から視覚-言語-行動モデルを学習するための対照的潜在行動事前学習

CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos

シェア:XThreadsFacebookLINEはてブBluesky

人間の動画からロボットの行動スキルを抽出し、視覚-言語-行動モデルを事前学習するフレームワークCLAPを提案。対照学習で人間の動画をロボットの行動語彙に整合させ、効率的なスキル転移を実現した。

詳しい要約

1. どんなもの?

- 人間の動画から Vision-Language-Action (VLA) モデルを学習するための枠組み CLAP を提案 - ロボットデータの不足を人間動画で補うことを狙う - Act-VAE でロボット軌道から実行可能な action-token 語彙を学習 - 人間の視覚遷移を contrastive learning でこの語彙に整列 - 整列したトークンを用いて CLAP-NTP を自己回帰 VLA として学習 - 展開向けに CLAP-RF と Knowledge Matching 正則化を導入

2. 先行研究と比べてどこがすごい?

- 既存の Latent Action Models は視覚的絡み合い (visual entanglement) を起こし、操作スキルではなくノイズを符号化しがち - CLAP は外観再構成ではなく、物理的に根拠のある潜在行動空間へ人間動画を写像 - これにより人間動画からロボット実行への効果的なスキル転移を可能にする - 競合ベースラインに対して強い性能を示す

3. 技術・手法の肝は?

- Act-VAE でロボット軌道から実行可能な action-token 語彙を学習 - contrastive learning で人間の視覚遷移をこの語彙に整列 - 整列したトークンに基づき CLAP-NTP を自己回帰 VLA として学習 - ロボットデモと擬似ラベル付き人間動画を使用し、指示追従と物体汎化を保持 - 展開・適応のため CLAP-RF (Rectified Flow 行動ヘッド) で低遅延連続行動チャンク予測 - Knowledge Matching 正則化で微調整中の事前学習意味知識を保持

4. どうやって有効だと検証した?

- 広範な実験を実施し、競合ベースラインに対して強い性能を達成 - 人間動画からロボット実行への効果的なスキル転移を可能にすることを示す - 具体的なデータセット名や評価指標は要旨からは不明

5. 議論はある?

- 既存 Latent Action Models の視覚的絡み合い問題を指摘 - 外観再構成ではなく物理的に根拠のある潜在行動空間への整列の重要性を議論 - 微調整中の事前学習意味知識の保持 (Knowledge Matching) の必要性に言及 - 具体的な限界や今後の課題は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Latent Action Models, Act-VAE, CLAP-NTP, CLAP-RF, Rectified Flow, Knowledge Matching - 関連手法: Vision-Language-Action models, contrastive learning, autoregressive VLA - 同分野の定番: ロボット操作のための VLA モデル (例: RT-1, RT-2, OpenVLA など) や人間動画からの学習手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chubin Zhang, Jianan Wang, Zifeng Gao, Yue Su, Tianru Dai, Cai Zhou, Jiwen Lu, Yansong Tang

分類: cs.RO, cs.CV

原文アブストラクト

Generalist Vision-Language-Action models remain constrained by the scarcity of robotic data relative to the abundance of human video demonstrations. Existing Latent Action Models attempt to use video data but often suffer from visual entanglement, encoding noise rather than manipulation skills. To address this limitation, we propose Contrastive Latent Action Pretraining (CLAP), a framework that first uses Act-VAE to learn an executable action-token vocabulary from robot trajectories and then aligns human visual transitions with this vocabulary through contrastive learning. This alignment maps unlabeled human videos into a physically grounded latent action space rather than reconstructing appearance. Building on the aligned tokens, we train CLAP-NTP as an autoregressive VLA using robot demonstrations and pseudo-labeled human videos, preserving instruction following and object generalization. For deployment and target-domain adaptation, we further introduce a post-training strategy that combines CLAP-RF, a Rectified Flow action head for low-latency continuous action chunk prediction, with Knowledge Matching regularization to preserve pretrained semantic knowledge during fine-tuning. Extensive experiments show that CLAP achieves strong performance against competitive baselines while enabling effective skill transfer from human videos to robotic execution.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI