日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2606.10862

LIBERO-Occ: 視点想像によるシーン起因の遮蔽下での視覚言語行動モデルの評価と改善

LIBERO-Occ: Evaluating and Improving Vision-Language-Action Models under Scene-Induced Occlusion via Viewpoint Imagination

シェア:XThreadsFacebookLINEはてブBluesky

遮蔽がある操作環境でVLAモデルの性能が低下する問題を調べ、遮蔽評価ベンチマークLIBERO-Occを導入し、補完視点を想像して行動予測に活用する手法VIMを提案した。

詳しい要約

1. どんなもの?

- 本論文は、Vision-Language-Action (VLA) モデルが実環境で直面する「scene-induced occlusion」を研究する。 - 標準的な manipulation benchmark では対象物が完全に見えると仮定されるが、遮蔽があると部分的にしか観測できない。 - 遮蔽に特化した LIBERO の拡張ベンチマーク LIBERO-Occ を導入し、VLA の性能劣化を評価する。 - さらに、遮蔽された主観測から補完的な視点を生成し、観測と想像の両方に基づいて行動予測を行う Viewpoint Imagination (VIM) を提案する。

2. 先行研究と比べてどこがすごい?

- 従来の VLA 評価は、タスク関連物体が完全に可視であるという仮定に依存していた。 - 本研究は scene-induced occlusion を根本的な課題として位置づけ、LIBERO-Occ という専用ベンチマークを構築した点が新しい。 - 既存の state-of-the-art VLA が遮蔽下で大幅に性能低下することを実験的に示した。 - VIM は展開時に追加カメラを必要とせず、遮蔽に対するロバスト性を改善する点で先行手法と異なる。

3. 技術・手法の肝は?

- 遮蔽された primary observation から complementary view を生成する Viewpoint Imagination (VIM) を提案。 - 生成された imagined view と実際の observed evidence の両方を条件として action prediction を行う。 - 追加のカメラを deployment 時に必要としない設計。 - タスクスイート、遮蔽タイプ、遮蔽の severity レベルを横断してロバスト性を向上させる。

4. どうやって有効だと検証した?

- LIBERO-Occ ベンチマーク上で state-of-the-art VLA を評価し、遮蔽下での性能劣化を定量的に示した。 - VIM を適用することで、複数のタスクスイート、遮蔽タイプ、severity レベルにわたりロバスト性が改善することを検証した。 - 追加カメラなしで有効性を確認した。 - ベンチマークとコードは GitHub で公開されている。

5. 議論はある?

- 遮蔽下での manipulation は部分的に観測可能な問題であり、VLA の根本的課題であると議論。 - Viewpoint Imagination が perception completion の有望なメカニズムであると示唆。 - ただし、具体的な限界や失敗ケース、計算コスト、一般化可能性についての詳細は要旨からは不明。

6. 次に読むべき論文は?

- LIBERO (元のベンチマーク) - Vision-Language-Action (VLA) モデル全般 - 部分的に観測可能な manipulation に関する研究 - perception completion や view synthesis を用いたロボティクス研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Taishan Li, Jiwen Zhang, Siyuan Wang, Xuanjing Huang, Zhongyu Wei

分類: cs.CV, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models achieve strong performance on standard manipulation benchmarks, but most evaluations assume that task-relevant objects are fully visible. This assumption often fails in realistic settings, where occlusion makes manipulation partially observable. In this paper, we study \textit{scene-induced occlusion} as a fundamental challenge for VLA models and introduce \textbf{LIBERO-Occ}, an occlusion-oriented extension of LIBERO. Experiments show that state-of-the-art VLAs suffer substantial performance degradation under occlusion. To address this issue, we propose \textbf{Viewpoint Imagination (VIM)}, which generates a complementary view from an occluded primary observation and conditions action prediction on both observed and imagined evidence. VIM improves robustness across task suites, occlusion types, and severity levels without requiring additional cameras at deployment time, suggesting that viewpoint imagination is an promising mechanism for perception completion in partially observable manipulation. Our benchmark and corresponding code are available at: \href{https://github.com/litsh/Libero-Occ}{https://github.com/litsh/Libero-Occ}.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI