日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2607.25912

SAM3Dガイドによる物体中心表現アライメントを用いた視覚言語行動モデル

SAM3D-Guided Object-Centric Representation Alignment for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

VLAモデルにSAM3Dを教師として物体中心の3D表現を学習させ、推論時はRGBのみで高精度な操作を実現する手法を提案。

詳しい要約

1. どんなもの?

本論文は、Vision-Language-Action (VLA)モデルに物体中心の3D表現を統合するフレームワークを提案する。既存のVLAモデルは2Dの視覚言語バックボーンに依存し、オクルージョンやポーズ変化、スケール変化、精密な空間インタラクションを伴うシーンでの3D理解が不足している。提案手法はπ0をベースに、SAM3Dを凍結した3D教師として用い、訓練中に対象物体の3D事前知識を提供する。具体的には、物体認識モデルでタスク関連物体を特定し、対応する物体マスクを生成し、SAM3Dで高密度な物体レベル3D表現を抽出し、π0の中間視覚特徴と整列させる。これにより、RGB言語からアクションへの推論パイプラインを維持しつつ、テスト時には深度、点群、マスク、SAM3D、追加の3Dモジュールを必要とせずに、ポリシーが対象物体の3D情報を内部化できる。

2. 先行研究と比べてどこがすごい?

先行研究のVLAモデルは2Dの視覚特徴に基づいており、3D空間理解が不十分で、特にオクルージョンやポーズ変化、スケール変化、精密な操作が必要なタスクで性能が低下する。本手法は、凍結したSAM3Dを教師として用いることで、追加の3Dセンサやテスト時の3Dモジュールを必要とせずに、物体中心の3D表現をVLAモデルに蒸留する点が新しい。これにより、既存のVLAモデルの推論パイプラインを変更せずに3D理解を向上させることができる。

3. 技術・手法の肝は?

手法の核は、物体中心の3D表現をVLAモデルの中間視覚特徴に整列させることである。具体的には、まず物体認識モデルを用いてタスク関連物体を検出し、対応する物体マスクを生成する。次に、SAM3Dを用いて物体マスクに対応する高密度な3D表現を抽出する。この3D表現を教師とし、π0の中間視覚特徴を回帰的に整列させる損失を導入する。訓練時のみSAM3Dを使用し、テスト時には不要となる。これにより、ポリシーはRGB画像とテキスト指示から直接アクションを生成する元のパイプラインを維持しつつ、物体の3D情報を暗黙的に利用できる。

4. どうやって有効だと検証した?

シミュレーション実験では、LIBEROベンチマークで99.1%の成功率を達成し、CALVINベンチマークで平均タスク長4.11を達成した。実世界実験では、複数のサブタスクにわたって異なる対象物体に焦点を当てる必要がある長期的な操作シナリオで特に有効であることを示した。

5. 議論はある?

要旨からは、提案手法が2DベースのVLAモデルと比較して3D理解を向上させる一方で、物体認識モデルとSAM3Dの品質に依存する可能性がある。また、テスト時に3D情報を直接使用しないため、訓練時の整列が十分でない場合に性能が低下する可能性がある。さらに、実世界での評価は限定的であり、より多様なタスクや環境での検証が必要である。

6. 次に読むべき論文は?

要旨で参照されている研究は、ベースとなるVLAモデルπ0、3D教師としてのSAM3D、物体認識モデル、およびベンチマークのLIBEROとCALVINである。次に読むべき論文としては、π0の元論文、SAM3Dの元論文、およびVLAモデルの3D理解を改善する他の手法(例えば、3Dシーン表現を直接利用するVLAモデル)が挙げられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zonghe Liu, Shanyuan Jie, Xiaoquan Sun, Chen Cao, Zetian Xu, Zongsheng Liu, Jiayu Chen

分類: cs.RO, cs.AI

原文アブストラクト

Vision-Language-Action (VLA) models have shown strong potential for general robot manipulation, but most existing models rely on 2D visual-language backbones and lack fine-grained 3D understanding of target objects, especially under occlusion, pose variation, scale changes, and precise spatial interaction. We propose an object-centric 3D representation alignment framework built upon $\pi_0$, using SAM3D as a frozen 3D teacher to provide target-object 3D priors during training. Specifically, we localize task-relevant objects with object recognition models, generate corresponding object masks, and use SAM3D to extract dense object-level 3D representations, which are aligned with intermediate visual features of $\pi_0$. This enables the policy to internalize target-object 3D information while preserving the original RGB-language-to-action inference pipeline without requiring depth, point clouds, masks, SAM3D, or additional 3D modules at test time. Simulation experiments show consistent improvements, achieving 99.1\% on LIBERO and an average length of 4.11 on CALVIN. Real-world experiments further demonstrate that our method is particularly effective in long-horizon manipulation scenarios where the robot must focus on different target objects across multiple subtasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI