日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2506.00123

視覚的身体脳:マルチモーダル大規模言語モデルに空間での知覚・思考・制御を

Visual Embodied Brain: Let Multimodal Large Language Models See, Think, and Control in Spaces

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダルLLMをロボット制御に統合するVeBrainを提案し、テキストベースの制御信号を実機の動作ポリシーに変換するアダプタと大規模指示データセットで脚ロボットやアームの適応的な操作を実現した。

詳しい要約

1. どんなもの?

- 本論文は、Multimodal Large Language Models (MLLMs) を物理エージェント(脚式ロボットやロボットアーム)に拡張するための統合フレームワーク **Visual Embodied Brain (VeBrain)** を提案する。 - VeBrain は、知覚・推論・制御を統一することを目的とし、ロボット制御を2D視覚空間におけるテキストベースのMLLMタスクとして再定式化する。 - これにより、異なるタスクの目的とマッピング空間を統一し、MLLMが視覚空間理解と物理インタラクション能力を同時に扱えるようにする。 - また、MLLMからのテキスト制御信号を実ロボットの動作ポリシーに変換する新しい **robotic adapter** を提案する。 - データ面では、VeBrainの様々な能力を網羅する高品質な指示データセット **VeBrain-600k** を導入する。

2. 先行研究と比べてどこがすごい?

- 既存手法は、MLLMのマルチモーダル理解能力と視覚空間推論・物理インタラクション能力を統合することが困難であった。 - VeBrainは、ロボット制御をテキストベースのMLLMタスクに再定式化することで、これらの根本的な差異を克服し、統一的なフレームワークを実現する。 - 13のマルチモーダルベンチマークと5の空間知能ベンチマークで、既存のMLLM(例:Qwen2.5-VL)を上回る性能を示す。 - 脚式ロボットやロボットアームに展開した際、既存手法と比較して高い適応性、柔軟性、構成能力を示す。例えば、Qwen2.5-VLと比較して、MMVetで+5.6%、脚式ロボットタスクで平均+50%の性能向上を達成する。

3. 技術・手法の肝は?

- **統一フレームワーク**: ロボット制御を2D視覚空間におけるテキストベースのMLLMタスクとして再定式化し、異なるタスクの目的とマッピング空間を統一する。 - **Robotic Adapter**: MLLMが出力するテキスト制御信号を実ロボットの動作ポリシーに変換する新しいアダプターを提案する。 - **VeBrain-600kデータセット**: 数百時間をかけて収集・キュレーション・アノテーションされた高品質な指示データセット。マルチモーダルChain-of-Thought (CoT) を採用し、異なる能力を単一の会話に混合する。 - これにより、MLLMが視覚空間理解、推論、制御をシームレスに統合できるようにする。

4. どうやって有効だと検証した?

- 13のマルチモーダルベンチマークと5の空間知能ベンチマークで広範な実験を実施し、VeBrainが既存のMLLM(Qwen2.5-VLなど)より優れた性能を示すことを検証。 - 脚式ロボットとロボットアームに展開し、適応性、柔軟性、構成能力を評価。 - 具体的には、Qwen2.5-VLと比較してMMVetで+5.6%、脚式ロボットタスクで平均+50%の向上を達成した。

5. 議論はある?

- 要旨からは不明。ただし、VeBrain-600kのデータ収集・キュレーション・アノテーションに数百時間を要したことや、マルチモーダルCoTを用いて能力を混合したことなどが述べられている。 - ロボット制御をテキストベースのMLLMタスクに再定式化するアプローチの有効性が示唆されるが、限界や課題についての議論は要旨では触れられていない。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Qwen2.5-VL(既存のMLLM)、および脚式ロボットやロボットアームに関する既存手法。 - 関連手法として、MLLMを物理エージェントに拡張する研究(例:RT-2, PaLM-Eなど)や、マルチモーダルChain-of-Thought (CoT) に関する研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Gen Luo, Ganlin Yang, Ziyang Gong, Guanzhou Chen, Haonan Duan, Erfei Cui, Ronglei Tong, Zhi Hou, Tianyi Zhang, Zhe Chen, Shenglong Ye, Lewei Lu, Jingbo Wang, Wenhai Wang, Jifeng Dai, Yu Qiao, Rongrong Ji, Xizhou Zhu

分類: cs.CV, cs.RO

原文アブストラクト

The remarkable progress of Multimodal Large Language Models (MLLMs) has attracted increasing attention to extend them to physical entities like legged robot. This typically requires MLLMs to not only grasp multimodal understanding abilities, but also integrate visual-spatial reasoning and physical interaction capabilities. Nevertheless,existing methods struggle to unify these capabilities due to their fundamental differences.In this paper, we present the Visual Embodied Brain (VeBrain), a unified framework for perception, reasoning, and control in real world. VeBrain reformulates robotic control into common text-based MLLM tasks in the 2D visual space, thus unifying the objectives and mapping spaces of different tasks. Then, a novel robotic adapter is proposed to convert textual control signals from MLLMs to motion policies of real robots. From the data perspective, we further introduce VeBrain-600k, a high-quality instruction dataset encompassing various capabilities of VeBrain. In VeBrain-600k, we take hundreds of hours to collect, curate and annotate the data, and adopt multimodal chain-of-thought(CoT) to mix the different capabilities into a single conversation. Extensive experiments on 13 multimodal benchmarks and 5 spatial intelligence benchmarks demonstrate the superior performance of VeBrain to existing MLLMs like Qwen2.5-VL. When deployed to legged robots and robotic arms, VeBrain shows strong adaptability, flexibility, and compositional capabilities compared to existing methods. For example, compared to Qwen2.5-VL, VeBrain not only achieves substantial gains on MMVet by +5.6%, but also excels in legged robot tasks with +50% average gains.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI