日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.32312

スキル条件付きLoRA-MoEと軌道アフォーダンス事前分布による多スキルロボット操作

MAST-VLA: Skill-Conditioned Adaptation with Trajectory-Affordance Priors for Multi-Skill Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

指示から実行すべきスキルを選び、物体への接触・移動位置を予測する軌道アフォーダンス事前分布を組み合わせたVLAフレームワークMAST-VLAを提案し、CALVINベンチマークで最先端性能を達成した。

詳しい要約

1. どんなもの?

- 汎用ロボット操作のための単一の vision-language-action (VLA) policy を扱う研究。 - 多技能 (multi-skill) の指示に対して、どの primitive skill を実行するか、どこ/どう物体に接触・移動するかの2点を十分にモデル化する枠組み。 - MAST-VLA (Multi-skill Adaptation with Skill-conditioned experts and Trajectory-affordance priors) と名付けた dual-conditioning フレームワークを提案。

2. 先行研究と比べてどこがすごい?

- 既存の multi-skill VLA policy は、指示中の『どの primitive skill を実行するか』と『どこ/どう接触・移動するか』のモデル化が不十分という課題を指摘。 - 提案法は skill-conditioned な LoRA-MoE と trajectory-affordance の空間 prior を組み合わせ、この2点を明示的に条件付けする点が特徴。 - CALVIN ABC→D の long-horizon multi-skill cross-scene generalization 設定で state-of-the-art を達成し、Avg. Len 4.65 (5-subtask 評価系列) を報告。

3. 技術・手法の肝は?

- LLM backbone に skill-conditioned LoRA Mixture-of-Experts (LoRA-MoE) adapters を導入。 - skill-query tokens と routing biases により low-rank expert の特化を誘導。 - 予測した affordance heatmap を patch-level の trajectory-affordance spatial prior に変換し、action head に与える。 - skill 条件付けと trajectory-affordance 条件付けの dual-conditioning を構成。

4. どうやって有効だと検証した?

- CALVIN ABC→D の long-horizon multi-skill cross-scene generalization 設定で評価。 - 5-subtask 評価系列で Avg. Len 4.65 を達成し state-of-the-art と報告。 - 実ロボットでの multi-skill sequence 実験を行い、実知覚・制御ノイズ下での展開可能性 (deployability) を検証。

5. 議論はある?

- 実ロボット実験により実知覚・制御ノイズ下での展開可能性を示唆。 - 具体的な失敗事例や限界、ablation の詳細は要旨からは不明。 - 議論の詳細は要旨からは不明。

6. 次に読むべき論文は?

- CALVIN (ABC→D 設定) ベンチマークに関する研究。 - LoRA Mixture-of-Experts (LoRA-MoE) を用いた VLA 適応の関連研究。 - affordance heatmap や trajectory-affordance prior を action head に用いる操作研究。 - 具体的な参照論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiachi Yang, Zhiyi Xu, Hongquan Zhang, Xin Tan, Zhizhong Zhang, Jingyu Gong, Yuan Xie

分類: cs.RO

原文アブストラクト

Generalist robot manipulation requires a single vision-language-action (VLA) policy to execute diverse skills across scenes and instructions. However, current multi-skill VLA policies often leave two aspects of an instruction insufficiently modeled: which primitive skill to execute and where/how to contact and move objects. We propose MAST-VLA (Multi-skill Adaptation with Skill-conditioned experts and Trajectory-affordance priors), a dual-conditioning framework for robot manipulation. MAST-VLA introduces skill-conditioned LoRA Mixture-of-Experts (LoRA-MoE) adapters in the LLM backbone, where skill-query tokens and routing biases guide low-rank expert specialization, and converts a predicted affordance heatmap into a patch-level trajectory-affordance spatial prior for the action head. On the CALVIN ABC$\rightarrow$D long-horizon multi-skill cross-scene generalization setting, MAST-VLA achieves state-of-the-art performance, reaching an Avg. Len of 4.65 over five-subtask evaluation sequences. Real-robot multi-skill sequence experiments further validate its deployability under real perception and control noise.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI