日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2509.13774

VLAモデルのデュアルアクター微調整:対話と修正によるヒューマン・イン・ザ・ループ手法

Dual-Actor Fine-Tuning of VLA Models: A Talk-and-Tweak Human-in-the-Loop Approach

シェア:XThreadsFacebookLINEはてブBluesky

人間の修正を言語コマンドに変換する「talk-and-tweak」を取り入れた強化学習ベースの二重アクター微調整フレームワークを提案し、実世界の多タスク操作で高成功率と効率向上を実現した。

詳しい要約

1. どんなもの?

- Vision-language-action (VLA) モデルを実世界の複雑なタスクへ適応させるための、human-in-the-loop な強化学習 (RL) ベースの dual-actor fine-tuning フレームワーク。 - 主役の primary actor が多タスク性能を担い、refinement actor が latent-space で適応を補助する構成。 - 物理的な介入に加え、人の修正を意味づけられた言語コマンドに変換する talk-and-tweak scheme を導入し、新たなデータセットを生成して方策学習に用いる。

2. 先行研究と比べてどこがすごい?

- 従来の demonstrations による supervised fine-tuning はデータ品質に制約されるという課題がある。 - 本研究は RL を基盤に据え、さらに人の修正を言語コマンドへ変換して学習データ化する点が特徴。 - 物理介入だけでなく talk-and-tweak を組み合わせる点が先行手法との差異として示されている。 - 具体的な比較対象の研究名は要旨からは不明。

3. 技術・手法の肝は?

- RL ベースの human-in-the-loop dual-actor fine-tuning を採用。 - primary actor が頑健な多タスク性能を担い、refinement actor が latent-space adaptation を担当。 - talk-and-tweak scheme により、人の修正を意味的に grounded な言語コマンドへ変換し、新規データセットを生成して方策学習に利用。 - 詳細なアルゴリズムや報酬設計は要旨からは不明。

4. どうやって有効だと検証した?

- 実世界の multi-task 実験を実施。 - 3 タスクにおいて 101 分のオンライン fine-tuning で 100% の成功率を達成。 - long-horizon タスクでは 12 回連続操作で 50% の成功率を維持。 - multi-robot training へ拡張し、dual robots 使用時に最大 2 倍の効率改善を確認。 - 実験動画が公開されている。

5. 議論はある?

- long-horizon タスクでは 50% 成功率にとどまり、更なる改善余地が示唆される。 - multi-robot 設定での効率向上が報告されているが、その要因や限界の詳細は要旨からは不明。 - talk-and-tweak による言語コマンド変換の品質や汎化性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、demonstrations を用いた supervised fine-tuning、RL による VLA モデルの fine-tuning、human-in-the-loop 強化学習、latent-space adaptation に関する研究を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Piaopiao Jin, Qi Wang, Guokang Sun, Ziwen Cai, Pinjia He, Yangwei You

分類: cs.RO

原文アブストラクト

Vision-language-action (VLA) models demonstrate strong generalization in robotic manipulation but face challenges in complex, real-world tasks. While supervised fine-tuning with demonstrations is constrained by data quality, reinforcement learning (RL) offers a promising alternative. We propose a human-in-the-loop dual-actor fine-tuning framework grounded in RL. The framework integrates a primary actor for robust multi-task performance with a refinement actor for latent-space adaptation. Beyond standard physical interventions, we introduce a lightweight talk-and-tweak scheme that converts human corrections into semantically grounded language commands, thereby generating a new dataset for policy learning. In real-world multi-task experiments, our approach achieves 100% success across three tasks within 101 minutes of online fine-tuning. For long-horizon tasks, it sustains a 50% success rate over 12 consecutive operations. Furthermore, the framework scales effectively to multi-robot training, achieving up to a 2 times improvement in efficiency when using dual robots. The experiment videos are available at https://sites.google.com/view/hil-daft/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI