日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/移動マニピュレーションarXiv:2606.00253

グループ別誤差が重要:11自由度移動マニピュレーションのための視覚言語行動モデルのファインチューニング

Per-Group Error, Not Total MSE: Fine-Tuning Vision-Language-Action Models for 11-DoF Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

異種の関節グループを持つ移動マニピュレータ向けにVLAモデルをファインチューニングする際、総MSEが低いチェックポイントが実機で最良とは限らないことを示し、グループ別誤差がより信頼できる選択指標であると主張する論文。

詳しい要約

1. どんなもの?

- モバイルマニピュレータ(11-DoF Toyota HSR)向けにVision-Language-Action (VLA) モデルをファインチューニングする際、集約MSEが最小のチェックポイントが実機性能で最良とは限らない問題を扱う。 - SmolVLA (450M, action-expert only) と π0.5 (3.3B) を比較し、関節グループ(arm, gripper, head, wheeled base)ごとの誤差分析を提案。 - 実機60試行(各モデル20試行)で評価し、per-group errorがチェックポイント選択のより信頼できる指標であると結論。

2. 先行研究と比べてどこがすごい?

- 従来は集約MSE(total MSE)でチェックポイントを選択するのが一般的だが、異種関節空間では予測しやすい関節が失敗する関節を隠蔽することを指摘。 - より強い事前学習済みベースラインである π0.5 (3.3B) と比較し、expert-onlyファインチューニング(action headのみ訓練、backbone凍結)ではtotal MSEがベースラインを下回るもののarm精度が劣化することを示した。 - 実機性能では π0.5 80k (4.0/4) がファインチューニング変種(expert-only 3k: 3.75/4; HSR-SmolVLA: 3.5/4)より有意に優れる(Mann-Whitney p ≤ 0.010)ことを明らかにした。

3. 技術・手法の肝は?

- SmolVLA (450M, action-expert only) を11-DoF Toyota HSR上でファインチューニング。 - π0.5 (3.3B) に対してはexpert-onlyファインチューニング(action headのみ訓練、backbone凍結)を実施。 - 関節グループ(arm, gripper, head, wheeled base)ごとに誤差を分析し、per-group errorを評価指標として導入。 - 実機60試行(20試行/モデル)で性能を比較し、Mann-Whitney検定で有意差を評価。

4. どうやって有効だと検証した?

- 実機60試行(各モデル20試行)で評価。 - π0.5 80k (4.0/4) が expert-only 3k (3.75/4) および HSR-SmolVLA (3.5/4) より有意に優れる(Mann-Whitney p ≤ 0.010)。 - expert-only 3kはtotal MSEが最小であるにもかかわらず、実機性能が劣ることを示した。 - この分離はoffline arm-group errorと最も一致し、total MSEやbase-group errorとは一致しない。

5. 議論はある?

- 異種行動空間を持つロボットでは、total MSEよりもper-group errorがチェックポイント選択の信頼できる信号であると結論。 - SmolVLAではmobile baseの収束が最も遅く、全体性能を制限することを示唆。 - expert-onlyファインチューニングではtotal MSEが低下してもarm精度が劣化する可能性を指摘。 - 限界や今後の課題については要旨からは不明。

6. 次に読むべき論文は?

- SmolVLA (450M, action-expert only) - π0.5 (3.3B) - Toyota HSR - Vision-Language-Action (VLA) モデル - 関連手法として、action-expert onlyファインチューニングやper-group error分析を扱った研究が挙げられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pau Montagut Bofi, Mario García Blasco, Tessa Pulli, Markus Vincze

分類: cs.RO, cs.LG

原文アブストラクト

Fine-tuning Vision-Language-Action (VLA) models for mobile manipulators with heterogeneous joint spaces can produce a counterintuitive result: the checkpoint with the lowest aggregate MSE is not the one that performs best on the real robot. We argue this is a predictable consequence of collapsing heterogeneous joint groups (arm, gripper, head, wheeled base) into a single metric, where easy-to-predict joints can mask joints that still fail. We fine-tune SmolVLA (450M, action-expert only) on the 11-DoF Toyota HSR and compare it against $\pi_{0.5}$ (3.3B), a stronger pretrained baseline. Per-group analysis exposes two patterns: in SmolVLA, the mobile base converges slowest and limits overall performance. In expert-only fine-tuning of $\pi_{0.5}$ (training only the action head, backbone frozen), total MSE drops below the baseline but arm accuracy degrades. On 60 real-robot trials (20 per model), $\pi_{0.5}$ 80k (4.0/4) significantly outperforms both fine-tuned variants (expert-only 3k: 3.75/4; HSR-SmolVLA: 3.5/4; Mann-Whitney $p \leq 0.010$), despite expert-only 3k having the lowest total MSE. This separation is most consistent with the offline arm-group error, not total MSE or base-group error. We conclude that per-group error is a more reliable signal than total MSE for checkpoint selection on robots with heterogeneous action spaces. Code: https://github.com/paumontagut/per-group-mse-vla

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI