日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2505.08548

見ることから行うことへ:ロボットマニピュレーションのための推論と意思決定の橋渡し

From Seeing to Doing: Bridging Reasoning and Decision for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

空間関係推論で中間表現を生成する視覚言語モデルFSDを提案し、ロボット操作のゼロショット性能を大幅に向上させた。

詳しい要約

1. どんなもの?

- ロボット操作のための新規 Vision-Language Model「FSD (From Seeing to Doing)」を提案 - 空間関係推論を通じて中間表現を生成し、ロボット操作への細粒度ガイダンスを提供 - 階層的データパイプラインによる学習と、空間座標を視覚信号に整合させる self-consistency 機構を組み合わせ - 「seeing」と「doing」の両面を検証し、汎用空間推論・embodied reference の8ベンチマークおよび新規ベンチマーク VABench で評価 - SimplerEnv と実機で zero-shot 操作性能を検証

2. 先行研究と比べてどこがすごい?

- 既存 VLA モデルは汎用 VLM 上に構築されるが、embodied データセットの希少性・異質性により zero-shot 性能が不十分 - FSD は空間関係推論による中間表現で細粒度ガイダンスを与え、この課題に対処 - SimplerEnv で 40.6%、実機8タスクで 72% の成功率を達成 - 最強ベースラインを 30% 上回る性能向上を実証

3. 技術・手法の肝は?

- 空間関係推論を通じて中間表現を生成する VLM ベースのアプローチ - 階層的データパイプラインで学習 - self-consistency 機構により空間座標と視覚信号を整合 - 中間表現がロボット操作の細粒度ガイダンスとして機能 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 汎用空間推論・embodied reference 能力の8ベンチマークで評価 - 新規提案ベンチマーク VABench で評価 - SimplerEnv および実機設定で zero-shot 操作能力を検証 - SimplerEnv で 40.6%、実機8タスクで 72% の成功率 - 最強ベースライン比 30% の性能向上を確認

5. 議論はある?

- 要旨からは不明 - 限界や失敗事例、計算コスト、データパイプラインの詳細な議論は要旨に記載なし

6. 次に読むべき論文は?

- VLA (Vision-Language-Action) モデル - VLM (Vision-Language Model) - SimplerEnv - VABench - embodied reference 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yifu Yuan, Haiqin Cui, Yibin Chen, Zibin Dong, Fei Ni, Longxin Kou, Jinyi Liu, Pengyi Li, Yan Zheng, Jianye Hao

分類: cs.RO, cs.AI, cs.LG

原文アブストラクト

Achieving generalization in robotic manipulation remains a critical challenge, particularly for unseen scenarios and novel tasks. Current Vision-Language-Action (VLA) models, while building on top of general Vision-Language Models (VLMs), still fall short of achieving robust zero-shot performance due to the scarcity and heterogeneity prevalent in embodied datasets. To address these limitations, we propose FSD (From Seeing to Doing), a novel vision-language model that generates intermediate representations through spatial relationship reasoning, providing fine-grained guidance for robotic manipulation. Our approach combines a hierarchical data pipeline for training with a self-consistency mechanism that aligns spatial coordinates with visual signals. Through extensive experiments, we comprehensively validated FSD's capabilities in both "seeing" and "doing," achieving outstanding performance across 8 benchmarks for general spatial reasoning and embodied reference abilities, as well as on our proposed more challenging benchmark VABench. We also verified zero-shot capabilities in robot manipulation, demonstrating significant performance improvements over baseline methods in both SimplerEnv and real robot settings. Experimental results show that FSD achieves 40.6% success rate in SimplerEnv and 72% success rate across 8 real-world tasks, outperforming the strongest baseline by 30%.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI