日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.15517

Robo2VLM:大規模実世界ロボット操作データセットからの視覚的質問応答

Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの実軌道データから操作フェーズを切り出し、空間・目標・相互作用推論のVQAデータセットを自動生成するフレームワークを提案し、VLMの評価・改善に有効性を示した。

詳しい要約

1. どんなもの?

- どんなもの? - 実ロボットの tele-operated trajectory から VLM 向け VQA データを自動生成するフレームワーク Robo2VLM の提案。 - 生成データセット Robo2VLM-1 は 176k の実ロボット trajectory から 463 シーン・3,396 タスクをカバーする 684,710 問の multiple-choice VQA を収録。 - ロボットデータで VLM を評価・強化する逆方向のパラダイムを探る研究。

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 従来は Internet-scale の image-text で VLM を訓練しロボットに応用する方向が主流。 - 本研究は逆に、実ロボット trajectory の多モーダルデータを VLM の評価・改善に使う枠組みを提示。 - in-the-wild の大規模実ロボットデータに基づく VQA データセットを構築した点が特徴。 - 具体的な既存研究との比較数値は要旨からは不明。

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 非視覚・非記述的な感覚モダリティ(end-effector pose、gripper aperture、force sensing)から ground-truth を導出。 - これらに基づき trajectory を manipulation phase の系列に分割。 - 各 phase で scene/interaction understanding を用い、robot・task goal・target object の 3D プロパティを同定。 - spatial / goal-conditioned / interaction reasoning の質問テンプレートで画像付き multiple-choice VQA を生成。

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - Robo2VLM-1 が VLM の spatial reasoning と interaction reasoning の benchmark および改善に寄与し得るという結果が示されている。 - 具体的な評価プロトコル・ベースライン・スコアは要旨からは不明。

5. 議論はある?

- 議論はある? - 実ロボット trajectory 由来の VQA が VLM の空間・相互作用推論を測り改善できる可能性が示唆される。 - 生成テンプレートや感覚モダリティ依存によるバイアス、sim-to-real や他ロボットへの汎化、評価の妥当性は要旨からは不明。

6. 次に読むべき論文は?

- 次に読むべき論文は? - VLM をロボットの scene understanding・task planning・visuomotor policy に用いる既存研究(要旨で一般に言及)。 - robot trajectory データで訓練する visuomotor policy の研究。 - 同分野の定番として Open X-Embodiment や RT 系の VLA 研究、VQA benchmark 関連。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kaiyuan Chen, Shuangyu Xie, Zehan Ma, Pannag R Sanketi, Ken Goldberg

分類: cs.RO, cs.AI, cs.CL, cs.LG

原文アブストラクト

Vision-Language Models (VLMs) acquire real-world knowledge and general reasoning ability through Internet-scale image-text corpora. They can augment robotic systems with scene understanding and task planning, and assist visuomotor policies that are trained on robot trajectory data. We explore the reverse paradigm - using rich, real, multi-modal robot trajectory data to enhance and evaluate VLMs. In this paper, we present Robo2VLM, a Visual Question Answering (VQA) dataset generation framework for VLMs. Given a human tele-operated robot trajectory, Robo2VLM derives ground-truth from non-visual and non-descriptive sensory modalities, such as end-effector pose, gripper aperture, and force sensing. Based on these modalities, it segments the robot trajectory into a sequence of manipulation phases. At each phase, Robo2VLM uses scene and interaction understanding to identify 3D properties of the robot, task goal, and the target object. The properties are used to generate representative VQA queries - images with textural multiple-choice questions - based on spatial, goal-conditioned, and interaction reasoning question templates. We curate Robo2VLM-1, a large-scale in-the-wild dataset with 684,710 questions covering 463 distinct scenes and 3,396 robotic manipulation tasks from 176k real robot trajectories. Results suggest that Robo2VLM-1 can benchmark and improve VLM capabilities in spatial and interaction reasoning.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI