日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.11917

OneTwoVLA:適応的推論を備えた統合視覚言語行動モデル

OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

行動と推論を単一モデルで統合し、必要な時だけ明示的に推論する適応的切替機構を導入したVLAモデル。長期的タスク計画やエラー回復、人間との対話、視覚的接地を実現。

詳しい要約

1. どんなもの?

- 単一の unified Vision-Language-Action model である OneTwoVLA を提案 - acting(System One)と reasoning(System Two)の両方を1モデルで実行 - タスク実行中の critical な場面では明示的に reasoning し、それ以外は直近の reasoning に基づき action を生成するよう適応的にモード切替 - 長期的・高難度の manipulation タスク(hotpot 作り、cocktail 混合など)を対象 - 目的は汎用ロボットに必要な reasoning と acting の相乗効果の実現

2. 先行研究と比べてどこがすごい?

- 従来の dual-system 手法は high-level reasoning と low-level acting を分離 - システム間の capability の相互理解が限られる問題 - latency 問題を抱える - OneTwoVLA は単一 unified model で両者を統合し、これらの課題に対処 - 適応的モード切替により常時 reasoning せず、必要な時のみ明示的 reasoning - さらに embodied reasoning-centric な vision-language data を合成する scalable pipeline を設計し、robot data と co-training - 具体的な性能向上の定量比較は要旨からは不明

3. 技術・手法の肝は?

- 単一の unified Vision-Language-Action model に System One(acting)と System Two(reasoning)を統合 - 適応的切替機構 - critical な場面では明示的 reasoning を実行 - それ以外は直近の reasoning に基づいて action を生成 - scalable pipeline で embodied reasoning-centric な vision-language data を合成 - この合成データを robot data と co-training に使用 - reasoning と generalization 能力の強化を狙う設計

4. どうやって有効だと検証した?

- extensive experiments により有効性を検証 - 4つの主要 capability で優れた性能を確認 - long-horizon task planning - error detection and recovery - natural human-robot interaction - generalizable visual grounding - これらの能力により long-horizon かつ highly dexterous な manipulation タスク(hotpot 作り、cocktail 混合など)を実行可能 - 具体的なベースラインや評価指標は要旨からは不明

5. 議論はある?

- dual-system の課題(相互理解の制約、latency)を unified model と適応的 reasoning で緩和する立場 - 常時 reasoning ではなく critical な場面に限定することで効率と性能の両立を狙う設計思想 - 合成 vision-language data の co-training が reasoning と generalization に寄与するという主張 - 限界、失敗事例、計算コスト、モード切替の判定基準などの詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- dual-system 系の Vision-Language-Action 研究(high-level reasoning と low-level acting を分離する手法) - Vision-Language-Action model の代表的手法(例: RT-2 系の VLA) - embodied reasoning データ合成や vision-language co-training に関する研究 - long-horizon manipulation の planning および error detection/recovery に関する研究 - 要旨で明示的に参照されている個別論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fanqi Lin, Ruiqian Nai, Yingdong Hu, Jiacheng You, Junming Zhao, Yang Gao

分類: cs.RO

原文アブストラクト

General-purpose robots capable of performing diverse tasks require synergistic reasoning and acting capabilities. However, recent dual-system approaches, which separate high-level reasoning from low-level acting, often suffer from challenges such as limited mutual understanding of capabilities between systems and latency issues. This paper introduces OneTwoVLA, a single unified vision-language-action model that can perform both acting (System One) and reasoning (System Two). Crucially, OneTwoVLA adaptively switches between two modes: explicitly reasoning at critical moments during task execution, and generating actions based on the most recent reasoning at other times. To further unlock OneTwoVLA's reasoning and generalization capabilities, we design a scalable pipeline for synthesizing embodied reasoning-centric vision-language data, used for co-training with robot data. We validate OneTwoVLA's effectiveness through extensive experiments, highlighting its superior performance across four key capabilities: long-horizon task planning, error detection and recovery, natural human-robot interaction, and generalizable visual grounding, enabling the model to perform long-horizon, highly dexterous manipulation tasks such as making hotpot or mixing cocktails.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI