日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.22966

VLMの知能をロボット制御へ転移する

Transferring the Intelligence of VLMs to Robotic Control

シェア:XThreadsFacebookLINEはてブBluesky

VLMに離散的な移動・回転・グリッパ指令のインターフェースを与え、閉ループでロボットを制御させる手法RoboDawnを提案。タスク特化の学習なしで既存手法を上回り、実演1回の文脈内学習でSOTAを達成した。

詳しい要約

1. どんなもの?

- デジタル世界の VLM の知能を物理世界のロボット制御に転移させる研究 - RoboDawn という人間直感的インターフェースを提案 - 離散的な translation, rotation, gripper コマンドの小さな集合で VLM にロボット制御を公開 - VLM が閉ループで視覚状態を観測し、次の行動を推論、実行、適応 - in-context learning (ICL) で少数のデモからインターフェース使用とタスク解決戦略を接地 - タスク特化のロボット訓練なしで動作

2. 先行研究と比べてどこがすごい?

- タスク特化のロボットデータで訓練された強力なポリシーを zero-shot で上回る - 単一の in-context デモで大幅な性能向上と SOTA を達成 - RoboTwin 2.0 C2R で成功率 53.2% (zero-shot) から 73.6% (one-shot) へ - これは solid baseline の π0.5 (46.0%) を超える - RoboDojo でも 35.67% (zero-shot) から 47.17% (one-shot) へ改善 - 同じフレームワークが実世界の Franka ロボットにも転移

3. 技術・手法の肝は?

- RoboDawn: 人間直感的インターフェース - 離散的な translation, rotation, gripper コマンドのコンパクトな集合 - VLM が閉ループで制御: 視覚状態観測→次の行動推論→実行→結果状態に適応 - in-context learning (ICL) スキーム - 少数のデモで VLM をインターフェース使用とタスク解決戦略に接地 - タスク特化のロボット訓練は不要

4. どうやって有効だと検証した?

- RoboTwin 2.0 C2R と RoboDojo での実験 - zero-shot でベンチマーク特化のロボットデータで訓練された強力なポリシーを上回る - 単一の in-context デモで大幅な性能向上と SOTA を確立 - RoboTwin 2.0 C2R: 成功率 53.2% (zero-shot) → 73.6% (one-shot)、π0.5 (46.0%) を超える - RoboDojo: 35.67% (zero-shot) → 47.17% (one-shot) - 実世界の Franka で block-in-basket と block stacking を実行

5. 議論はある?

- デジタルから実世界への embodiment, environment, task のギャップが存在 - 人間の知能自体はこのギャップを転移できる可能性 - VLM の知能も同様にデジタルから物理世界へ一般化できるかという根本的問い - タスク特化のロボット訓練なしで強い性能を達成 - 実世界ロボットへの転移も確認 - 詳細な議論や限界は要旨からは不明

6. 次に読むべき論文は?

- π0.5 (比較ベースライン) - RoboTwin 2.0 C2R (ベンチマーク) - RoboDojo (ベンチマーク) - VLM を用いたロボット制御の関連研究 - in-context learning を用いたロボット制御の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Meng-Hao Guo, Zhe-Han Mo, Jia-Jun Wang, Yi Zhang, Kejin Wang, Yi-Xuan Deng, Jia-Peng Zhang, Yongming Rao, Shi-Min Hu

分類: cs.RO

原文アブストラクト

Humans can seamlessly adapt to both physical and digital worlds, suggesting that while a digital-to-real gap exists in embodiment, environment and task, human intelligence itself may transfer across this gap. This naturally raises a fundamental question: can the intelligence of vision-language models (VLMs) similarly generalize from the digital world to the physical world for robotic control? We investigate this question through RoboDawn, a human-intuitive interface that exposes robotic control to an agentic VLM through a compact set of discrete translation, rotation, and gripper commands. Using this interface, the VLM controls a robot in a closed loop: it observes the current visual state, reasons about the next action, executes it, and adapts subsequent decisions to the resulting state. Furthermore, we introduce an in-context learning (ICL) scheme that uses a few demonstrations to ground the VLM in both interface usage and task-solving strategies. Experiments on RoboTwin 2.0 C2R and RoboDojo demonstrate that RoboDawn achieves strong performance without task-specific robot training. In the zero-shot setting, RoboDawn outperforms several strong policies trained on benchmarkspecific robot data, while a single in-context demonstration further yields substantial performance gains and establishes state-of-the-art (SOTA) results. On RoboTwin 2.0 C2R, the success rate increases from 53.2% zero-shot to 73.6% one-shot, exceeding the solid baseline π0.5 (46.0%). Similar gains are observed on RoboDojo, where success rate improves from 35.67% zero-shot to 47.17% one-shot. The same framework also transfers to real-world robots, performing block-in-basket and block stacking on Franka.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI