日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/スキル学習arXiv:2609.01215

REFACTOR-VLA: 型付きモータープログラムの教師なしライブラリ学習

REFACTOR-VLA: Unsupervised Library Learning of Typed Motor Programs

シェア:XThreadsFacebookLINEはてブBluesky

本論文は、ロボットの行動を再利用可能な抽象化(スキル)として組織化する新しいVLAモデルを提案し、長期的なタスクでの性能向上と解釈可能性の向上を目指す。

詳しい要約

1. どんなもの?

REFACTOR-VLAは、視覚・言語・行動(VLA)モデルから再利用可能なスキル(抽象化)を自動的に学習するためのシステムである。スリープ(睡眠)フェーズとウェイク(覚醒)フェーズからなる。スリープフェーズでは、学習された潜在世界モデルM_φのロールアウトから計算される行動等価カーネル(BEK)を用いて、モータープログラムの断片をクラスタリングする。ウェイクフェーズでは、Hindley-Milnerに着想を得た語彙上の型付きラムダ項を生成し、ライブラリ条件付きのrectified-flowアクションデコーダで消費する。抽象化は、最小記述長(MDL)とリターン保存のゲートを通過した場合のみ採用される。

2. 先行研究と比べてどこがすごい?

既存のVLAモデル(OpenVLA、π0、RT-2、RDT-1Bなど)はモノリシックであり、生のモーターコマンドや短いアクションチャンクを出力するだけで、行動を再利用可能な抽象化に整理しないため、長期的なタスクで性能が低下し、解釈が困難である。既存のスキル発見手法は、行動シーケンスがいつ行動的に等価であるかという核心的な問題を回避し、対照的埋め込みのクラスタリングや、ロボットのダイナミクスに較正されていない言語モデルに判断を委ねることが多い。REFACTOR-VLAは、行動等価性を明示的に定義し、世界モデルに基づくカーネルで判断することで、この問題に取り組む点が新しい。

3. 技術・手法の肝は?

手法の肝は、スリープ/ウェイクシステムと、行動等価カーネル(BEK)の導入である。スリープフェーズでは、潜在世界モデルM_φのロールアウトからBEKを計算し、モータープログラムの断片をクラスタリングする。ウェイクフェーズでは、Hindley-Milnerに着想を得た語彙で型付きラムダ項を生成し、ライブラリ条件付きのrectified-flowアクションデコーダで消費する。抽象化は、最小記述長(MDL)とリターン保存のゲートを通過した場合のみ採用される。また、世界モデルのウォームアップ中に補助的な教師付き対比損失(InfoNCE)を追加することが、スリープフェーズのクラスタリングを大幅に改善する。

4. どうやって有効だと検証した?

LIBEROベンチマークで検証した。世界モデルを188Mから430Mパラメータに拡大すると、4つのスイートすべてで性能が悪化した。一方、トレーニング目的関数が重要であり、InfoNCE損失を追加することで、スリープフェーズのクラスタリングが改善し、Normalized Mutual Information(NMI)がn=3シードでobject 0.462±0.021、spatial 0.867±0.025、goal 0.915±0.013、LIBERO-10 0.754±0.010となり、4つのスイートすべてで最も強い公開ベースラインを平均Δ=+0.184上回った。プロバイダー間(n=12)での平均ペアワイズNMIの95%ブートストラップ信頼区間は[0.683, 0.729](平均0.705)であった。スリープフェーズは、実際のLIBEROタスク言語ライブラリを初めて生成し、デコーダは3つの採用された抽象化のうち2つを使用し、256のサンプルされたデモンストレーションをすべて書き換えた。

5. 議論はある?

要旨からは、世界モデルの容量を増やすことが必ずしも性能向上につながらないという興味深い発見が示唆されるが、その理由については詳しく議論されていない。また、InfoNCE損失の追加が有効である理由や、BEKの計算コスト、実ロボットへの適用可能性などについては要旨からは不明である。さらに、提案手法がLIBEROベンチマークでのみ検証されており、他のベンチマークや実世界での有効性は不明である。

6. 次に読むべき論文は?

要旨で参照されている研究には、OpenVLA、π0、RT-2、RDT-1BなどのVLAモデル、既存のスキル発見手法(対比的埋め込みのクラスタリングや言語モデルを用いたもの)、Hindley-Milner型システム、rectified-flow、InfoNCE損失などがある。次に読むべき論文としては、これらの関連研究が挙げられるが、具体的なタイトルは要旨に明記されていないため、同分野の定番である「OpenVLA: An Open-Source Vision-Language-Action Model」や「π0: A Vision-Language-Action Flow Model for General Robot Control」などが考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Riyaaz Shaik, Chandru Venkataraman

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Most vision-language-action (VLA) models -- OpenVLA, $π_0$, RT-2, RDT-1B -- are monolithic: they emit raw motor commands or short action chunks without organizing behavior into reusable abstractions, so they degrade on long-horizon tasks and resist interpretation. Existing skill-discovery methods sidestep the core question of when two action sequences are behaviorally equivalent, either clustering contrastive embeddings or delegating the judgment to a language model uncalibrated to the robot's dynamics. We introduce REFACTOR-VLA, a wake/sleep system for learning reusable skills. Its sleep phase clusters motor-program fragments under a Behavioral-Equivalence Kernel (BEK) computed from rollouts of a learned latent world model $M_φ$; its wake phase emits typed lambda terms over a Hindley--Milner-inspired vocabulary, consumed by a library-conditioned rectified-flow action decoder. Abstractions are admitted only if they pass Minimum Description Length and return-preservation gates. On LIBERO we report two findings. First, enlarging the world model from 188M to 430M parameters worsened performance on 4 of 4 suites, so capacity alone does not help. Second, the training objective matters far more: adding an auxiliary supervised contrastive (InfoNCE) loss during world-model warmup substantially improves sleep-phase clustering, giving Normalized Mutual Information at $n=3$ seeds of $0.462 \pm 0.021$ (object), $0.867 \pm 0.025$ (spatial), $0.915 \pm 0.013$ (goal) and $0.754 \pm 0.010$ (LIBERO-10), and beating the strongest published baseline on all 4 suites by a mean $Δ= +0.184$. Across providers ($n=12$) the 95% bootstrap confidence interval for mean pairwise NMI is $[0.683, 0.729]$ (mean $0.705$). The sleep phase also yields the first real-LIBERO task-language library: the decoder uses 2 of 3 admitted abstractions and rewrites all 256 sampled demonstrations.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI