日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2607.25487

CoTinyVLA: サブ10億パラメータの視覚言語行動モデルへの連鎖思考蒸留

CoTinyVLA: Chain-of-Thought Distillation for a Sub-Billion-Parameter Vision-Language-Action Model

シェア:XThreadsFacebookLINEはてブBluesky

0.9Bパラメータの小型VLAモデルを提案し、35B教師からの階層的CoT蒸留とパラフレーズ拡張により、LIBERO-Plusベンチマークで7Bモデルを上回るロバスト性を達成した。

詳しい要約

1. どんなもの?

CoTinyVLAは、0.9BパラメータのVision-Language-Action (VLA)モデルであり、Qwen3.5-0.8Bをバックボーンとして、ロボットの行動生成を自然言語コマンドから行う。LIBERO-Plusロバストネスベンチマークにおいて、3B〜7Bパラメータの大規模モデルを凌駕する性能を達成することを目的としている。モデルは、双視点の時間的入力(各ステップ16履歴フレーム、テキストのカメラ・時間マーカー付き)、階層的chain-of-thought (CoT)蒸留(35B教師からエピソードレベルのPlanとチャンクレベルのThinkスパンへ)、パラフレーズ拡張(40基本コマンドを800バリアントに拡張)の3つの要素で構成される。

2. 先行研究と比べてどこがすごい?

従来のVLAモデルは、LIBERO-Plusのようなロバストネスベンチマークで高い性能を達成するために3B〜7Bパラメータの大規模バックボーンを使用しており、メモリ需要が組み込みロボティクスの予算を超える可能性があった。CoTinyVLAは、モデルを大きくする代わりに監視の構造化(階層的CoT蒸留、パラフレーズ拡張など)によってロバスト性を獲得しており、0.9Bパラメータの小型バックボーンで既存の7Bベースラインを全4スイートで上回る。特に、最も難しい軸であるRobot Initial Statesでは、既存の11の公開ベースラインが全スイートで53.2%を超えないのに対し、CoTinyVLAはGoalで73.6%を達成し、最強ベースラインの39.9%を大きく凌駕する。

3. 技術・手法の肝は?

手法の肝は、3つの要素の組み合わせにある。1) 双視点の時間的入力:各ステップで16履歴フレームを2つのカメラに分割し、テキストのカメラ・時間マーカーを付与することで、視点と時間の情報を明示的にモデルに提供する。2) 階層的CoT蒸留:35Bパラメータの教師モデルから、エピソードレベルのPlan(タスク全体の計画)とチャンクレベルのThink(タスクフェーズ、グリッパー状態、次のサブアクション)を蒸留し、モデルに中間推論を生成させる。3) パラフレーズ拡張:40の基本コマンドを800のバリアントに拡張し、言語指示の多様性を高める。これらは摂動軸ごとに分離可能であり、フレーム分割の方法自体が8.6ポイントの差を生む。

4. どうやって有効だと検証した?

LIBERO-Plusベンチマークで検証した。これは10,030の摂動タスクを7つの摂動次元にわたって含む。CoTinyVLAはSpatialで90.8%、Objectで87.3%、Goalで86.6%、Longで80.7%を達成し、最強の7Bベースラインをそれぞれ4.7、2.8、15.9、3.0ポイント上回った。すべてのマージン区間がゼロを除外している。アブレーションにより、3つの要素が摂動軸ごとに分離可能であることを示し、マッチした画像予算でフレームのカメラ間・時間分割が8.6ポイントの差を生むことを確認した。閉ループ推論のピークGPUメモリは2.25 GiBで、エピソードPlanを空または矛盾したスパンに置き換えると成功率が40〜45ポイント低下することを示した。

5. 議論はある?

議論としては、要旨からは、モデルが小型であるにもかかわらず大規模モデルを凌駕する理由として、構造化された監視(CoT蒸留とパラフレーズ拡張)が重要であると考察される。しかし、特定の摂動軸(例えばRobot Initial States)での性能向上がなぜ大きいのか、また他のベンチマークや実世界での汎化については不明である。また、CoT蒸留の教師モデル(35B)の選択や、パラフレーズ拡張の多様性が限定的である可能性も議論の余地がある。さらに、閉ループ推論のメモリ使用量は2.25 GiBと報告されているが、これは特定のハードウェア設定に依存する可能性がある。

6. 次に読むべき論文は?

要旨で参照されている研究は、LIBERO-Plusベンチマークの既存のベースライン(11の公開ベースライン)と、教師モデル(35B)のVLAモデルである。次に読むべき論文としては、VLAモデルの基盤となるVision-Language-Actionモデル全般(例:RT-2、OpenVLA)や、chain-of-thought蒸留の手法(例:Distilling Step-by-Step)、ロバストネスベンチマークの設計(LIBERO-Plus)などが挙げられる。具体的な論文名は要旨に明記されていないため、同分野の定番であるRT-2やOpenVLAを挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Minhyeok Lee, Chiyoung Kim, Chanhoe Gu, Seongrok Kim, Sanghyuk Roy Choi, Donghwan Hwang, Donghun Ryu, Seokhyun Kim

分類: cs.AI, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models translate natural-language commands into robot action sequences, but leading systems on the LIBERO-Plus robustness benchmark use three- to seven-billion-parameter backbones whose memory demands can exceed embedded robotic budgets. We present CoTinyVLA, a 0.9B-parameter action model on a Qwen3.5-0.8B backbone that obtains that robustness by structuring supervision instead of enlarging the model. Three components target different axes of the problem: dual-view temporal input of 16 history frames per step with textual camera and time markers; hierarchical chain-of-thought (CoT) distillation from a 35B teacher into an episode-level Plan and a chunk-level Think span over task phase, gripper state and next subaction; and paraphrase augmentation expanding 40 base commands into 800 variants. On LIBERO-Plus, spanning 10,030 perturbed tasks across seven perturbation dimensions, CoTinyVLA reaches 90.8% on Spatial, 87.3% on Object, 86.6% on Goal and 80.7% on Long, leading the strongest 7B baseline on all four suites by 4.7, 2.8, 15.9 and 3.0 points, with every margin interval excluding zero. The gains concentrate on the hardest axes of the benchmark: across the eleven published baselines none exceeds 53.2% on Robot Initial States in any suite, whereas CoTinyVLA reaches 73.6% on Goal against 39.9% for the strongest baseline. Ablations show the three components to be separable by perturbation axis, and at a matched image budget how frames are divided between the two cameras and across time accounts for 8.6 points on its own. Closed-loop inference peaks at 2.25 GiB of allocated GPU memory, and paired interventions show the episode Plan to be load-bearing: replacing it with an empty or contradictory span costs 40 to 45 points of success. Structured supervision thus lets a 0.9B backbone exceed all of them. Code: https://github.com/BrainJellyPie/CoTinyVLA

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI