日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.13255

ロボット基盤モデルのためのポリシー対比デコーディング

Policy Contrastive Decoding for Robotic Foundation Models

シェア:XThreadsFacebookLINEはてブBluesky

ロボット基盤モデルが学習する偽の相関を、物体マスク画像との行動確率分布の対比により訓練なしで補正し、汎化性能を向上させる手法を提案。

詳しい要約

1. どんなもの?

- ロボット基盤モデル(generalist robot policies)の汎化性能を向上させるための手法「Policy Contrastive Decoding (PCD)」を提案。 - 既存のロボットポリシーは事前学習軌跡から偽の相関(spurious correlations)を学習し、訓練データ外への汎化が阻害される問題を指摘。 - PCDは、元の視覚入力とオブジェクトマスクした視覚入力から得られる行動確率分布を比較し、オブジェクト関連の視覚手がかりにポリシーの注意を向け直す。 - 訓練不要(training-free)のプラグインとして、ファインチューニングやモデル重みへのアクセスなしで様々なロボットポリシーに適用可能。

2. 先行研究と比べてどこがすごい?

- 既存のロボットポリシー(OpenVLA, Octo, π0など)は事前学習データから偽の相関を学習し、汎化性能が低下することを実証的に示した。 - 従来の汎化改善手法はファインチューニングやモデル重みへのアクセスが必要だが、PCDは訓練不要でプラグインとして適用できる点が新しい。 - モデルアーキテクチャに依存せず、自己回帰型(OpenVLA)や拡散型(Octo, π0)など異なるタイプのポリシーに適用可能であることを示した。

3. 技術・手法の肝は?

- PCDは、元の視覚入力から得られる行動確率分布と、オブジェクトマスクを適用した視覚入力から得られる行動確率分布を対比する。 - この対比により、オブジェクトに関連する視覚的手がかりにポリシーの注意を向け直す(contrastive decoding)。 - 訓練不要の手法であり、モデルの重みにアクセスせずにプラグインとして適用できる。 - 具体的なマスキング手法や対比の計算方法の詳細は要旨からは不明。

4. どうやって有効だと検証した?

- 3つのオープンソースロボットポリシー(自己回帰型のOpenVLA、拡散型のOctoとπ0)に対して実験を実施。 - シミュレーション環境と実世界環境の両方で評価。 - 最先端ポリシーπ0に対して、シミュレーションで8.9%、実世界で108%の性能向上を達成。 - コードとデモは公開されている。

5. 議論はある?

- 要旨からは、PCDの限界や失敗ケース、計算コスト、マスキングの品質への依存性などについての議論は不明。 - 実世界での大幅な改善(108%)の要因や、他のポリシーへの適用時の挙動についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照されている研究:OpenVLA、Octo、π0。 - 関連手法として、contrastive decoding(視覚言語モデルにおける手法)や、ロボットポリシーの汎化に関する研究(例:spurious correlationsの分析)が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Shihan Wu, Xu Luo, Ji Zhang, Junlin Xie, Jingkuan Song, Heng Tao Shen, Lianli Gao

分類: cs.RO

原文アブストラクト

Robotic foundation models, or generalist robot policies, hold immense potential to enable flexible, general-purpose and dexterous robotic systems. Despite their advancements, our empirical experiments reveal that existing robot policies are prone to learning spurious correlations from pre-training trajectories, adversely affecting their generalization capabilities beyond the training data. To tackle this, we propose a novel Policy Contrastive Decoding (PCD) approach, which redirects the robot policy's focus toward object-relevant visual clues by contrasting action probability distributions derived from original and object-masked visual inputs. As a training-free method, our PCD can be used as a plugin to improve different types of robot policies without needing to finetune or access model weights. We conduct extensive experiments on top of three open-source robot policies, including the autoregressive policy OpenVLA and the diffusion-based policies Octo and $\pi_0$. The obtained results in both simulation and real-world environments prove PCD's flexibility and effectiveness, e.g., PCD enhances the state-of-the-art policy $\pi_0$ by 8.9% in the simulation environment and by 108% in the real-world environment. Code and demos are publicly available at: https://koorye.github.io/PCD.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI