日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.21817

VITA-E:見る・聞く・話す・行動するを同時に実現する身体的インタラクション

VITA-E: Natural Embodied Interaction with Concurrent Seeing, Hearing, Speaking, and Acting

シェア:XThreadsFacebookLINEはてブBluesky

2つのVLAモデルを並列に動かす二重モデル構成と「モデル・アズ・コントローラ」により、ロボットが環境を見ながらユーザーの音声を聞き、発話し、行動を同時並行で実行し、割り込みにも即応できる身体的対話フレームワークを提案した。

詳しい要約

1. どんなもの?

- VITA-Eは、Vision-Language-Action (VLA) モデルを用いた身体性エージェントのための新しい対話フレームワーク。 - 見る・聞く・話す・行動するを同時並行で実行でき、リアルタイムのユーザー割り込みにも対応可能。 - 二重モデルアーキテクチャ(Active ModelとStandby Model)を採用し、人間のようなマルチタスクを実現。 - 物理ヒューマノイドプラットフォーム上で評価され、緊急停止や音声割り込みに高い成功率を示す。

2. 先行研究と比べてどこがすごい?

- 従来のVLAモデルは静的で硬直した相互作用パラダイムに制約され、同時並行的な知覚・発話・行動や動的な割り込み処理が困難であった。 - VITA-Eはこれらの制限を克服し、行動の並行性とほぼリアルタイムの割り込みを可能にする。 - 既存のデュアルシステムVLAモデルとも互換性があり、緊急停止や音声割り込みに対して非常に高い成功率を達成。 - より自然で能力の高い身体性アシスタントへの重要な一歩となる。

3. 技術・手法の肝は?

- 二重モデルアーキテクチャ:並列に動作する2つのVLAインスタンスが「Active Model」と「Standby Model」として機能。 - これにより、環境観察・音声聴取・言語応答・行動実行を同時かつ割り込み可能に実行。 - 「model-as-controller」パラダイムを提案:VLMをファインチューニングし、特別なトークンを生成させてシステムレベルの直接コマンドとして使用。モデルの推論とシステムの振る舞いを結合。 - これにより、モデルがシステム動作を直接制御できる。

4. どうやって有効だと検証した?

- 物理ヒューマノイドプラットフォーム上で実験を実施。 - VITA-Eが複雑な対話シナリオを確実に処理できることを実証。 - 緊急停止と音声割り込みにおいて非常に高い成功率を達成。 - 同時発話と行動の実行にも成功。 - 様々なデュアルシステムVLAモデルとの互換性も確認。

5. 議論はある?

- 要旨からは不明。 - ただし、フレームワークの互換性や成功率の高さから、実用性や拡張性についての議論が含まれている可能性がある。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、VLAモデル、デュアルシステムVLAモデル、Vision-Language Model (VLM) のファインチューニングに関する論文が挙げられる。 - 具体的には、RT-2、PaLM-E、OpenVLAなどのVLAモデルや、デュアルシステムアーキテクチャを採用した研究が次に読むべき論文として考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiaoyu Liu, Chaoyou Fu, Chi Yan, Chu Wu, Haihan Gao, Yi-Fan Zhang, Shaoqi Dong, Cheng Qian, Bin Luo, Xiuyong Yang, Guanwu Li, Yusheng Cai, Yunhang Shen, Deqiang Jiang, Haoyu Cao, Xing Sun, Caifeng Shan, Ran He

分類: cs.RO, cs.CL, cs.LG

原文アブストラクト

Current Vision-Language-Action (VLA) models are often constrained by a rigid, static interaction paradigm, which lacks the ability to see, hear, speak, and act concurrently as well as handle real-time user interruptions dynamically. This hinders seamless embodied collaboration, resulting in an inflexible and unresponsive user experience. To address these limitations, we introduce VITA-E, a novel embodied interaction framework designed for both behavioral concurrency and nearly real-time interruption. The core of our approach is a dual-model architecture where two parallel VLA instances operate as an ``Active Model'' and a ``Standby Model'', allowing the embodied agent to observe its environment, listen to user speech, provide verbal responses, and execute actions, all concurrently and interruptibly, mimicking human-like multitasking capabilities. We further propose a ``model-as-controller'' paradigm, where we fine-tune the VLM to generate special tokens that serve as direct system-level commands, coupling the model's reasoning with the system's behavior. Experiments conducted on a physical humanoid platform demonstrate that VITA-E can reliably handle complex interactive scenarios. Our framework is compatible with various dual-system VLA models, achieving an extremely high success rate on emergency stops and speech interruptions while also successfully performing concurrent speech and action. This represents a significant step towards more natural and capable embodied assistants.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI