日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2604.01570

実現可能な行動近傍事前分布による視覚言語行動モデルのファインチューニング強化

Boosting Vision-Language-Action Finetuning with Feasible Action Neighborhood Prior

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作では各状態にほぼ等価な行動の近傍が存在するが、既存のVLA訓練はこれを無視する。本研究では、この近傍構造をガウス事前分布でモデル化する正則化を導入し、サンプル効率と成功率を向上させた。

詳しい要約

1. どんなもの?

- 実世界のロボット操作では、各状態に対して単一の正解行動ではなく、近似的に等価な行動の集合(feasible action neighborhood, FAN)が存在する。 - しかし、一般的なVision-Language-Action (VLA) の訓練手法は言語設定から直接継承されており、FAN特性を活用していない。 - そのため、汎化性能やサンプル効率が低いという問題がある。 - 本研究では、FANの幾何学にモデル出力分布を合わせるFAN-guided regularizerを導入する。 - 具体的には、好ましい方向と大きさの周りで局所的に滑らかで単峰的な予測を促すGaussian priorを導入する。 - 強化学習ファインチューニング (RFT) と教師ありファインチューニング (SFT) の両方で実験を行い、サンプル効率と成功率的に改善を示す。

2. 先行研究と比べてどこがすごい?

- 従来のVLA訓練手法は言語設定から直接継承され、FAN特性を活用していないため、汎化性能とサンプル効率が低い。 - 本研究はFAN-guided regularizerを導入し、FANの幾何学に出力分布を合わせることで、サンプル効率と成功率的に大幅な改善を達成。 - 特に、分布内 (in-distribution) と分布外 (OOD) の両シナリオで改善が見られる点が先行研究と比べて優れている。 - 物理操作の本質的な行動許容性に合わせることで、原理的かつ実用的なVLA適応を可能にする。

3. 技術・手法の肝は?

- FAN-guided regularizerを導入し、モデルの出力分布をFANの幾何学に合わせる。 - 具体的には、好ましい方向と大きさの周りで局所的に滑らかで単峰的な予測を促すGaussian priorを導入する。 - これにより、モデルがFAN内の多様な行動を許容しつつ、安定した予測を行うように誘導する。 - 強化学習ファインチューニング (RFT) と教師ありファインチューニング (SFT) の両方に適用可能。

4. どうやって有効だと検証した?

- 強化学習ファインチューニング (RFT) と教師ありファインチューニング (SFT) の両方で広範な実験を実施。 - サンプル効率と成功率の両方で、分布内 (in-distribution) と分布外 (OOD) のシナリオにおいて有意な改善を達成。 - 具体的なデータセットや評価指標は要旨からは不明。

5. 議論はある?

- 要旨からは、FAN-guided regularizationが物理操作の本質的な行動許容性に合わせることで、サンプル効率と汎化性能を向上させる原理的かつ実用的な方法であると主張されている。 - 限界や議論点については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language-Action (VLA) モデル、強化学習ファインチューニング (RFT)、教師ありファインチューニング (SFT) が挙げられる。 - 同分野の定番として、RT-1, RT-2, Octo, OpenVLA などが考えられるが、要旨では具体的に言及されていない。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haochen Niu, Kanyu Zhang, Shuyu Yin, Qinghai Guo, Peilin Liu, Fei Wen

分類: cs.RO

原文アブストラクト

In real-world robotic manipulation, states typically admit a neighborhood of near-equivalent actions. That is, for each state, there exist a feasible action neighborhood (FAN) rather than a single correct action, within which motions yield indistinguishable progress. However, prevalent VLA training methodologies are directly inherited from linguistic settings and do not exploit the FAN property, thus leading to poor generalization and low sample efficiency. To address this limitation, we introduce a FAN-guided regularizer that shapes the model's output distribution to align with the geometry of FAN. Concretely, we introduce a Gaussian prior that promotes locally smooth and unimodal predictions around the preferred direction and magnitude. In extensive experiments across both reinforced finetuning (RFT) and supervised finetuning (SFT), our method achieves significant improvement in sample efficiency, and success rate in both in-distribution and out-of-distribution (OOD) scenarios. By aligning with the intrinsic action tolerance of physical manipulation, FAN-guided regularization provides a principled and practical method for sample-efficient, and generalizable VLA adaptation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI