日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.11689

LARY: 汎用視覚-行動対応のための潜在行動表現ベンチマーク

LARY: A Latent Action Representation Yielding Benchmark for Generalizable Vision-to-Action Alignment

シェア:XThreadsFacebookLINEはてブBluesky

人間の行動ビデオから学習した潜在行動表現の能力を評価する統一ベンチマークを構築し、汎用視覚基盤モデルが専門の潜在行動モデルより優れ、潜在空間が物理行動空間とより良く整合することを示した。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルのための潜在行動表現(latent action)を評価するベンチマーク「LARY」を提案する。 - 高レベルな意味的行動(what to do)と低レベルなロボット制御(how to do)の両方で潜在行動表現を評価する統合フレームワーク。 - データセットは100万本以上の動画(1,000時間)、151の行動カテゴリ、620Kの画像ペア、595Kの運動軌跡を含み、多様な身体性と環境をカバーする。

2. 先行研究と比べてどこがすごい?

- 従来、潜在行動表現の評価は限定的で、視覚観測から堅牢な制御を導出する能力は厳密に評価されていなかった。 - LARYは、意味的行動とロボット制御の両面から潜在行動表現を統一的に評価する初のベンチマークである。 - 実験により、行動監督なしで訓練された汎用視覚基盤モデルが、専門的な身体性を持つ潜在行動モデルを一貫して上回ることを示した。 - また、潜在ベースの視覚空間がピクセルベースの空間よりも物理行動空間と本質的に整合していることを明らかにした。

3. 技術・手法の肝は?

- 大規模な人間動画データセットを活用し、視覚信号をオントロジー非依存の潜在行動表現に変換する。 - 高レベルな意味的行動と低レベルなロボット制御の両方を評価する統一フレームワークを構築。 - データセットは151の行動カテゴリにわたる100万本以上の動画、620Kの画像ペア、595Kの運動軌跡を含む。 - 潜在行動表現の評価には、汎用視覚基盤モデルと専門的な身体性を持つ潜在行動モデルを比較。

4. どうやって有効だと検証した?

- LARYベンチマークを用いて、高レベルな意味的行動と低レベルなロボット制御の両方で潜在行動表現を評価。 - 実験により、行動監督なしで訓練された汎用視覚基盤モデルが専門的な身体性を持つ潜在行動モデルを一貫して上回ることを確認。 - 潜在ベースの視覚空間がピクセルベースの空間よりも物理行動空間と本質的に整合していることを検証。

5. 議論はある?

- 汎用視覚表現が物理制御に関連する知識を本質的にエンコードしている可能性を示唆。 - 意味レベルの抽象化が、ピクセルレベルの再構成よりも視覚から行動への根本的に効果的な経路であることを示唆。 - これらの結果は、VLAモデルのための潜在行動表現の設計に重要な示唆を与える。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてVision-Language-Action (VLA) モデル、潜在行動表現、汎用視覚基盤モデル、身体性を持つ潜在行動モデルが挙げられる。 - 同分野の定番として、Vision-Language Models (VLMs)、行動クローニング、強化学習、模倣学習などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dujun Nie, Fengjiao Chen, Qi Lv, Jun Kuang, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

分類: cs.CV, cs.RO

原文アブストラクト

While the shortage of explicit action data limits Vision-Language-Action (VLA) models, human action videos offer a scalable yet unlabeled data source. A critical challenge in utilizing large-scale human video datasets lies in transforming visual signals into ontology-independent representations, known as latent actions. However, the capacity of latent action representation to derive robust control from visual observations has yet to be rigorously evaluated. We introduce the Latent Action Representation Yielding (LARY) Benchmark, a unified framework for evaluating latent action representations on both high-level semantic actions (what to do) and low-level robotic control (how to do). The comprehensively curated dataset encompasses over one million videos (1,000 hours) spanning 151 action categories, alongside 620K image pairs and 595K motion trajectories across diverse embodiments and environments. Our experiments reveal two crucial insights: (i) General visual foundation models, trained without any action supervision, consistently outperform specialized embodied latent action models. (ii) Latent-based visual space is fundamentally better aligned to physical action space than pixel-based space. These results suggest that general visual representations inherently encode action-relevant knowledge for physical control, and that semantic-level abstraction serves as a fundamentally more effective pathway from vision to action than pixel-level reconstruction.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI