日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.22519

物体中心・幾何グラウンディングによる clutter に頑健な VLA モデル

Clutter-Robust Vision-Language-Action Models through Object-Centric and Geometry Grounding

シェア:XThreadsFacebookLINEはてブBluesky

VLA の知覚と行動を分離し、タスク関連物体の領域選択と3D構造の強調を行う知覚モジュールを導入することで、 clutter や背景変化に強い操作を実現した。

詳しい要約

1. どんなもの?

- Vision-Language-Action (VLA) モデルにおいて、知覚と制御を明示的に分離するフレームワーク OBEYED-VLA (OBject-centric and gEometrY groundED VLA) を提案する研究。 - 生の RGB 入力ではなく、多視点入力をタスク条件付き・object-centric・geometry-aware な観測に変換する perception module を VLA に付加する。 - 得られた grounded views を pretrained VLA policy に入力し、環境 clutter や非対象物を含まない単一物体デモのみで fine-tune する。 - 実世界の UR10e tabletop 環境で評価する。

2. 先行研究と比べてどこがすごい?

- 多くの VLA は知覚と制御を単一の monolithic pipeline で action 最適化のみ行い、language-conditioned grounding が劣化しうる。 - 実世界 tabletop テストで、対象不在時の over-grasp、clutter による注意散漫、背景見た目への過学習が確認された。 - 提案法は知覚 grounding を action reasoning から分離し、object-centric かつ geometry-aware な観測を明示的に与える点が異なる。 - 単一物体・clutter なしのデモのみで fine-tune する点も特徴的。

3. 技術・手法の肝は?

- perception module は VLM-based object-centric grounding stage と geometric grounding stage から成る。 - object-centric grounding stage は多視点カメラ画像からタスク関連物体領域を選択する。 - geometric grounding stage は物体の見た目より 3D 構造を強調する。 - 得られた grounded views を pretrained VLA policy に供給し、単一物体デモで fine-tune する。

4. どうやって有効だと検証した?

- 実世界 UR10e tabletop setup で strong な VLA baselines と比較。 - distractor objects、absent-target rejection、background appearance changes、cluttered manipulation of unseen objects の 4 つの challenging regimes と複数 difficulty levels で評価。 - 提案法は robustness を大幅に改善。 - ablation studies で semantic grounding と geometry-aware grounding の両方が重要と確認。

5. 議論はある?

- 知覚を明示的・object-centric な構成要素にすることが VLA ベースのロボット操作の強化と汎化に有効と結論。 - 実世界評価で over-grasp、clutter への注意散漫、背景見た目への過学習が課題として示された。 - 具体的な限界や失敗事例、計算コストなどは要旨からは不明。

6. 次に読むべき論文は?

- 比較対象の strong な VLA baselines(具体的名称は要旨からは不明)。 - VLM-based object-centric grounding や geometry-aware grounding に関連する手法(具体的名称は要旨からは不明)。 - 同分野の定番として OpenVLA、RT-2 などの VLA モデルや、object-centric perception、3D geometry grounding 関連研究。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Khoa Vo, Taisei Hanyu, Yuki Ikebe, Trong Thang Pham, Nhat Chung, Minh Nhat Vu, Duy Nguyen Ho Minh, Anh Nguyen, Anthony Gunderman, Chase Rainwater, Ngan Le

分類: cs.RO

原文アブストラクト

Recent Vision-Language-Action (VLA) models have made impressive progress toward general-purpose robotic manipulation by post-training large Vision-Language Models (VLMs) for action prediction. Yet most VLAs entangle perception and control in a monolithic pipeline optimized purely for action, which can erode language-conditioned grounding. In our real-world tabletop tests, policies over-grasp when the target is absent, are distracted by clutter, and overfit to background appearance. To address these issues, we propose OBEYED-VLA (OBject-centric and gEometrY groundED VLA), a framework that explicitly disentangles perceptual grounding from action reasoning. Instead of operating directly on raw RGB, OBEYED-VLA augments VLAs with a perception module that grounds multi-view inputs into task-conditioned, object-centric, and geometry-aware observations. This module includes a VLM-based object-centric grounding stage that selects task-relevant object regions across camera views, along with a complementary geometric grounding stage that emphasizes the 3D structure of these objects over their appearance. The resulting grounded views are then fed to a pretrained VLA policy, which we fine-tune exclusively on single-object demonstrations collected without environmental clutter or non-target objects. On a real-world UR10e tabletop setup, OBEYED-VLA substantially improves robustness over strong VLA baselines across four challenging regimes and multiple difficulty levels: distractor objects, absent-target rejection, background appearance changes, and cluttered manipulation of unseen objects. Ablation studies confirm that both semantic grounding and geometry-aware grounding are critical to these gains. Overall, the results indicate that making perception an explicit, object-centric component is an effective way to strengthen and generalize VLA-based robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI