日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.38000

自己ラベル付き選好転移による操作可能なロボットマニピュレーション

Self-Labeled Preference Transfer for Steerable Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

選好ラベル付きの源タスクで学習した選好認識器を凍結し、ラベルなしの目標タスクのデモに自己ラベル付けして微調整することで、新タスクでも実行選好への追従性を保ちながらタスク成功率を高める手法SPTを提案した。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) policy が把持位置や障害物回避などの実行 preference に従う能力を、新しいタスクへ転移させる問題を扱う研究 - 目標タスクの demonstration には望ましい振る舞いが含まれるが preference annotation が無い状況を想定 - 提案手法 Self-Labeled Preference Transfer (SPT) により、追加の手動 preference annotation 無しで preference 適応を実現する

2. 先行研究と比べてどこがすごい?

- preference annotation 付きで学習した policy は新タスクで adaptation 前でも preference に従えるが task success が限られることを示す - annotation 無しの target demonstration での naive finetuning は task success を改善する一方で preference control を弱めることを明示 - SPT は naive finetuning と比較し、simulation で preference following 59.4%→84.8%、real-world で 52.5%→92.5% と大幅改善しつつ task success を維持(88.0%→89.2%) - 複数 preference 設定でも 42.5%→93.8% と baseline を大きく上回る

3. 技術・手法の肝は?

- 共有 vision-language backbone を、preference-conditioned action prediction と preference recognition の二目的で annotated source demonstration 上で joint training - その後 recognizer を freeze し、cross-task な preference recognition 能力を保持 - freeze した recognizer を用いて target demonstration に self-label を付与し、policy の fine-tuning に利用 - 手動 preference annotation を新タスクに付けることなく preference 適応を可能にする点が肝

4. どうやって有効だと検証した?

- simulation で 5 種類の execution preference を対象に評価、recognizer は 96.4% accuracy - SPT は 84.8% preference following、89.2% task success を達成(naive finetuning は 59.4%、88.0%) - 複数 preference へ拡張し 93.8% preference following(baseline 42.5%) - real-world で 2 つの task transfer を実施し、preference following が 52.5%→92.5% に向上

5. 議論はある?

- SPT により task や object をまたぐ preference adaptation を、success を維持しつつ追加の手動 annotation 無しで支援できると結論 - recognizer の freeze が cross-task preference recognition 能力の保持に寄与する点が示唆される - 限界や失敗事例、recognizer 精度が低い場合の影響などは要旨からは不明

6. 次に読むべき論文は?

- naive finetuning との比較対象として示される preference-conditioned VLA policy 学習 - Vision-language-action (VLA) policy 全般 - preference annotation 付き demonstration を用いる preference learning 関連研究 - self-training / self-labeling を用いた policy fine-tuning 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaiwen Hong, Shaoting Peng, Xiangyu Zeng, Pengcheng Wang, Boyuan Tian, Haonan Chen, Yifan Zhu, Yixiao Wang, Katherine Driggs-Campbell

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) policies can learn to follow execution preferences, such as where to grasp an object or how to move around an obstacle, from demonstrations annotated with preference labels. Providing these annotations for every new task, however, is costly. We study whether learned preference control can transfer to new tasks whose demonstrations contain the desired behaviors but lack preference annotations. We find that a policy trained with preference annotations can follow preferences on a new task before adaptation but achieves limited task success. Fine-tuning on target demonstrations without these annotations improves task success while weakening preference control. Motivated by this finding, we introduce Self-Labeled Preference Transfer (SPT). SPT jointly trains a shared vision-language backbone for preference-conditioned action prediction and preference recognition on annotated source demonstrations. It then freezes the recognizer to preserve its cross-task preference recognition capability and uses it to self-label target demonstrations for policy fine-tuning. Across five types of execution preferences in simulation, the recognizer achieves 96.4% accuracy, and SPT reaches 84.8% preference following and 89.2% task success, compared with 59.4% and 88.0% for naive finetuning. We further extend to multiple preferences, achieving 93.8% preference following compared with 42.5% of baselines. In real-world experiments, SPT increases preference following from 52.5% to 92.5% relative to naive finetuning across two task transfers. These results show that SPT can support preference adaptation across tasks and objects while maintaining success, without additional manual preference annotations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI