日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2601.22714

視覚言語モデルが実現するタスク中心の潜在行動

Vision-Language Models Unlock Task-Centric Latent Actions

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの常識推論を活用し、動画中のタスクに関連する動きとノイズを分離することで、潜在行動モデルの学習を改善する手法を提案。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language Models (VLMs) の常識推論能力を活用し、タスク中心の潜在行動表現を学習する手法を提案する。 - 従来の Latent Action Models (LAMs) は、観測に行動と相関する妨害要素(distractor)が含まれると、意味のある潜在行動ではなくノイズを符号化してしまう問題があった。 - 人間は短いタスク記述があれば、無関係な詳細を無視してタスクに関連する動きを区別できるが、これを VLM の promptable representations で実現する。 - 具体的には、VLM から得られる表現を LAM 訓練のターゲットとして使用し、制御可能な変化とノイズを教師なしで分離する。 - 様々な VLM をベンチマークし、promptable representations の品質やプロンプト・ハイパーパラメータへの頑健性を評価した。

2. 先行研究と比べてどこがすごい?

- 従来の LAMs は、観測に action-correlated distractors が含まれると性能が大幅に低下し、ノイズを潜在行動として符号化してしまう問題があった。 - 本手法は、VLM の常識推論能力を利用してタスクに関連する表現を抽出することで、教師なしで妨害要素を分離できる点が新しい。 - 単に VLM に「distractor を無視する」ように指示するだけで、潜在行動の品質が大幅に向上し、Distracting MetaWorld での下流タスク成功率が最大6倍になることを示した。 - また、最新の VLM が必ずしも古い VLM より優れているわけではないという興味深い知見も提供している。

3. 技術・手法の肝は?

- VLM にタスク記述を与え、promptable representations を生成させる。この表現を LAM 訓練のターゲットとして使用する。 - これにより、観測中の制御可能な変化(タスクに関連する動き)と、action-correlated distractors を教師なしで分離する。 - 様々な VLM をベンチマークし、promptable representations の品質、異なるプロンプトやハイパーパラメータへの頑健性を評価。 - さらに、VLM に対して「distractor を無視する」というプロンプトを追加することで、潜在行動の品質を向上させる。 - 具体的な VLM の種類やプロンプトの詳細は要旨からは不明。

4. どうやって有効だと検証した?

- Distracting MetaWorld というベンチマーク環境で評価を実施。 - 下流タスクの成功率を指標とし、VLM に distractor を無視するように指示することで、成功率が最大6倍に向上することを示した。 - また、様々な VLM を比較し、promptable representations の品質や頑健性に大きな差があることを明らかにした。 - より新しい VLM が古いものより性能が劣る場合があることも報告。 - 実験の詳細な設定や他のデータセットでの検証は要旨からは不明。

5. 議論はある?

- VLM の promptable representations の品質には大きなばらつきがあり、プロンプトやハイパーパラメータに対する頑健性も異なる。 - 最新の VLM が必ずしも古い VLM より優れているわけではないという結果は、モデル選択の重要性を示唆する。 - 単に「distractor を無視する」という指示で性能が大幅に向上することから、VLM の指示追従能力が重要であることが示唆される。 - ただし、VLM のどのような特性が良い表現に寄与するか、また他のタスクや環境への一般性については要旨からは不明。 - 計算コストや実世界への応用可能性についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Latent Action Models (LAMs)、Vision-Language-Action models、Vision-Language Models (VLMs)、Distracting MetaWorld。 - 関連手法:LAM の事前学習パイプライン、VLM の常識推論、promptable representations。 - 同分野の定番:Vision-Language-Action models (例: RT-2, PaLM-E)、Latent Action Models (例: LAPO, ALM)。 - 具体的な論文名は要旨に明記されていないため、これらをキーワードに最新研究を追うことを推奨。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alexander Nikulin, Ilya Zisman, Albina Klepach, Denis Tarasov, Alexander Derevyagin, Andrei Polubarov, Lyubaykin Nikita, Vladislav Kurenkov

分類: cs.LG, cs.AI, cs.CV

原文アブストラクト

Latent Action Models (LAMs) have rapidly gained traction as an important component in the pre-training pipelines of leading Vision-Language-Action models. However, they fail when observations contain action-correlated distractors, often encoding noise instead of meaningful latent actions. Humans, on the other hand, can effortlessly distinguish task-relevant motions from irrelevant details in any video given only a brief task description. In this work, we propose to utilize the common-sense reasoning abilities of Vision-Language Models (VLMs) to provide promptable representations, effectively separating controllable changes from the noise in unsupervised way. We use these representations as targets during LAM training and benchmark a wide variety of popular VLMs, revealing substantial variation in the quality of promptable representations as well as their robustness to different prompts and hyperparameters. Interestingly, we find that more recent VLMs may perform worse than older ones. Finally, we show that simply asking VLMs to ignore distractors can substantially improve latent action quality, yielding up to a six-fold increase in downstream success rates on Distracting MetaWorld.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI