日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2511.00041

GPT-4にヒューマノイドの身体を与える:既製VLMと物理世界を繋ぐ架け橋の構築

Endowing GPT-4 with a Humanoid Body: Building the Bridge Between Off-the-Shelf VLMs and the Physical World

シェア:XThreadsFacebookLINEはてブBluesky

既製の視覚言語モデル(GPT-4など)をヒューマノイドエージェントの制御に活用する手法BiBoを提案。指示を低レベルコマンドに変換するコンパイラと拡散モデルによる動作実行器で、オープン環境での相互作用タスク成功率90.2%を達成。

詳しい要約

1. どんなもの?

- 本論文は、Humanoid agent が open environment で柔軟かつ多様なインタラクションを行うための新手法 BiBo を提案する。 - BiBo は、off-the-shelf の Vision-Language Models (VLMs, 例: GPT-4) を活用して humanoid agent を制御する。 - 大規模データセットの収集を不要にし、VLM の open-world generalization を利用する。 - 二つの主要コンポーネント: embodied instruction compiler と diffusion-based motion executor からなる。

2. 先行研究と比べてどこがすごい?

- 従来は massive datasets を収集して highly capable model を訓練するアプローチが一般的だが、コストが非常に高い。 - 本研究は off-the-shelf VLMs をそのまま活用することで、extensive data collection の必要性を軽減する。 - 先行研究と比べて、open environment での interaction task success rate 90.2% を達成し、text-guided motion execution の精度を prior methods より 16.3% 向上させた。

3. 技術・手法の肝は?

- embodied instruction compiler: VLM が環境を認識し、高レベルなユーザ指示(例: “have a rest”)を低レベルプリミティブコマンド(例: “sit casually, location: (1, 2), facing: 90°”)に正確に変換する。 - diffusion-based motion executor: これらのコマンドから人間らしい動きを生成し、環境からの物理フィードバックに動的に適応する。 - これにより、基本的なインタラクションだけでなく、多様で複雑な動きも扱える。

4. どうやって有効だと検証した?

- 実験により、open environments での interaction task success rate が 90.2% であることを示した。 - text-guided motion execution の精度が prior methods より 16.3% 改善されたことを示した。 - 基本的なインタラクションだけでなく、多様で複雑な動きも処理できることを実験で検証した。

5. 議論はある?

- 要旨からは不明。 - ただし、off-the-shelf VLMs の利用によりデータ収集コストを削減できる可能性が示唆される。 - 物理フィードバックへの適応や open environment での性能について議論があると考えられるが、具体的な議論の内容は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、Vision-Language Models (VLMs) や diffusion-based motion generation の論文が挙げられる。 - 同分野の定番として、humanoid agent の制御に関する強化学習や模倣学習の研究、および GPT-4 などの大規模言語モデルをロボティクスに応用した研究を読むべき。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yingzhao Jian, Zhongan Wang, Yi Yang, Hehe Fan

分類: cs.RO, cs.AI

原文アブストラクト

Humanoid agents often struggle to handle flexible and diverse interactions in open environments. A common solution is to collect massive datasets to train a highly capable model, but this approach can be prohibitively expensive. In this paper, we explore an alternative solution: empowering off-the-shelf Vision-Language Models (VLMs, such as GPT-4) to control humanoid agents, thereby leveraging their strong open-world generalization to mitigate the need for extensive data collection. To this end, we present \textbf{BiBo} (\textbf{B}uilding humano\textbf{I}d agent \textbf{B}y \textbf{O}ff-the-shelf VLMs). It consists of two key components: (1) an \textbf{embodied instruction compiler}, which enables the VLM to perceive the environment and precisely translate high-level user instructions (e.g., {\small\itshape ``have a rest''}) into low-level primitive commands with control parameters (e.g., {\small\itshape ``sit casually, location: (1, 2), facing: 90$^\circ$''}); and (2) a diffusion-based \textbf{motion executor}, which generates human-like motions from these commands, while dynamically adapting to physical feedback from the environment. In this way, BiBo is capable of handling not only basic interactions but also diverse and complex motions. Experiments demonstrate that BiBo achieves an interaction task success rate of 90.2\% in open environments, and improves the precision of text-guided motion execution by 16.3\% over prior methods. The code will be made publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI