日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.10642

UniJEPA:連続・離散表現の統合学習によるロボットポリシーの強化

UniJEPA: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning

シェア:XThreadsFacebookLINEはてブBluesky

100万件超の操作動画で視覚表現を事前学習し、ロボット実機データで微調整することで、予測表現から行動トークンへのマッピングを学習する汎用ロボットポリシー手法を提案。

詳しい要約

1. どんなもの?

- 汎用ロボット政策のための新モデル UniJEPA を提案する研究 - 大規模な instructional manipulation videos(100万本以上)で事前学習し、ロボット実機データで fine-tune する枠組み - 連続的な視覚特徴の将来予測表現学習と、離散的な action tokens の学習を統合する - 対象は open-ended 環境での多様なタスクを扱う generalist robot policies - 要旨からは不明:具体的なタスク群・ロボット形態・モデル規模の詳細

2. 先行研究と比べてどこがすごい?

- 先行 VLA は VLM ベースか生成モデルベースのいずれかに偏っていた - 本研究は「vision-language 事前学習による semantic understanding」と「visual-generation 事前学習による visual dynamics modeling」の両方が embodied robots に重要だと主張 - 近年の generation と understanding の unified models の成功に着想を得て、政策学習に understanding・planning・continuous future representation learning を統合 - 要旨からは不明:比較した具体的 baseline 名や既存統合モデルとの定量比較の内訳

3. 技術・手法の肝は?

- 100万本超の internet-scale instructional manipulation videos で高次元視覚特徴の動的モデリングを事前学習 - その後、robot embodiment から収集したデータで fine-tune - predictive representations から action tokens へのマッピングを学習 - 連続表現学習(future representation)と離散表現(action tokens)を統合する点が肝 - 要旨からは不明:JEPA 的具体構成、損失関数、tokenizer の詳細

4. どうやって有効だと検証した?

- simulation environments と real-world out-of-distribution tasks の両方で実験 - baseline 手法に対し simulation で 9%、real-world OOD タスクで 12% の改善を報告 - 一貫して baseline を上回ると主張 - 要旨からは不明:評価タスク数、試行回数、統計的有意性、ablation の有無

5. 議論はある?

- 要旨からは不明:限界・失敗事例・計算コスト・データ依存性に関する議論は明示されていない - 主張の根拠は主に性能改善率(9%、12%)に依拠 - understanding と dynamics modeling の統合がなぜ有効かの分析は要旨では触れられていない - 要旨からは不明:real-world OOD の定義や分布シフトの種類

6. 次に読むべき論文は?

- VLA(Vision-Language-Action)系の generalist policy 研究 - VLM ベースの政策学習(例:RT 系の流れ) - visual-generation 事前学習を用いた政策学習 - unified generation/understanding モデル - JEPA 系の表現学習 - 要旨からは不明:具体的に参照・比較された論文名

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jianke Zhang, Yucheng Hu, Yanjiang Guo, Xiaoyu Chen, Yichen Liu, Wenna Chen, Chaochao Lu, Jianyu Chen

分類: cs.RO, cs.AI

原文アブストラクト

Building generalist robot policies that can handle diverse tasks in open-ended environments is a central challenge in robotics. To leverage knowledge from large-scale pretraining, prior work (VLA) has typically built generalist policies either on top of vision-language understanding models (VLMs) or generative models. However, both semantic understanding from vision-language pretraining and visual dynamics modeling from visual-generation pretraining are crucial for embodied robots. Recent unified models of generation and understanding have demonstrated strong capabilities in both comprehension and generation through large-scale pretraining. We posit that robotic policy learning can likewise benefit from the combined strengths of understanding, planning, and continuous future representation learning. Building on this insight, we introduce UniJEPA, which acquires the ability to dynamically model high-dimensional visual features through pretraining on over 1M internet-scale instructional manipulation videos. Subsequently, UniJEPA is fine-tuned on data collected from the robot embodiment, enabling the learning of mappings from predictive representations to action tokens. Extensive experiments show our approach consistently outperforms baseline methods in terms of 9\% and 12\% across simulation environments and real-world out-of-distribution tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI