日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2608.04633

Mind-VLA: 指示認識型空間表現アライメントによる視覚言語行動モデル

Mind-VLA: Instruction-Aware Spatial Representation Alignment for Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

言語指示で指定された対象物体の3D幾何に焦点を当て、VLAモデルの表現をアライメントする手法を提案。LIBEROやCALVINで高精度を達成し、実ロボットの遮蔽タスクでも大幅な性能向上を示した。

詳しい要約

1. どんなもの?

Mind-VLAは、Vision-Language-Action (VLA)モデルに対して、言語命令で指定された対象物体の3D空間表現を認識させるための手法を提案する。従来のVLAモデルはシーン全体を一様に3D幾何学に整列させるが、Mind-VLAは命令に含まれる対象物体に焦点を当て、その物体のtri-view画像から抽出したVAE特徴とVGGT特徴をVLAモデルの潜在表現に整列させることで、命令に応じた3D理解を実現する。

2. 先行研究と比べてどこがすごい?

従来のVLA手法は3Dシーン幾何学との表現整列により汎化を改善するが、命令に依存せずシーン全体を一様に整列させるため、対象物体の細かい操作や遮蔽があるタスクで失敗する。Mind-VLAは命令で指定された対象物体の3D幾何学に特化して整列する点が新しく、これにより従来手法が苦手とする対象物体の正確な3D理解を必要とするタスクで性能を向上させる。

3. 技術・手法の肝は?

Mind-VLAの手法の肝は、まず言語命令から対象物体を特定し、その物体のtri-view(3視点)画像を用意する。次に、そのtri-viewからVAE特徴とVGGT特徴を抽出する。最後に、VLAモデルの潜在表現をこれらの特徴に整列させることで、命令に応じた3D理解を可能にする。これにより、シーン全体ではなく対象物体に焦点を当てた表現学習を行う。

4. どうやって有効だと検証した?

シミュレーション環境であるLIBEROで93.9%、CALVINで4.47のスコアを達成し、バックボーンは345Mパラメータとコンパクトである。また、実ロボットの対象物体が遮蔽されたタスクでは平均成功率54%を達成し、命令非依存の最良手法と比較して32ポイント高い成功率を示した。

5. 議論はある?

要旨からは、Mind-VLAが対象物体の3D理解に焦点を当てることで、細かい操作や遮蔽タスクでの性能が向上することが示されたが、シーン全体の理解が不要になるわけではなく、複雑なシーンや複数物体が関わるタスクでの汎化については議論の余地がある。また、VAE特徴とVGGT特徴の選択や、それらの特徴量の表現力が性能に与える影響についての詳細な分析は要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連手法として、Vision-Language-Action (VLA)モデル、3Dシーン幾何学との表現整列手法、VAE、VGGTが挙げられる。次に読むべき論文としては、これらの基盤技術を詳述した論文や、VLAモデルの表現学習に関する最近の研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xingyu Ding, Yuzhong Zhao, Yang Wu, Chaoyang Zhao, Chunhai Zhao, Yifan Zhang, Jian Cheng

分類: cs.RO

原文アブストラクト

Recent Vision-Language-Action (VLA) methods improve generalization by aligning their representations with 3D scene geometry. However, these methods are fundamentally instruction-agnostic: the representations align the entire scene uniformly, neglecting the 3D geometry of the specific target object designated by the language instruction. This causes failures on fine-grained manipulation and target occlusion tasks, where success depends on accurate 3D understanding of the target object rather than the entire scene. To address this, we present Mind-VLA, an instruction-aware spatial representation alignment method for VLA models. Specifically, Mind-VLA first obtains the target object specified by the language instruction, then prepares its target-object tri-view and extracts the corresponding VAE and VGGT features. Finally, the latent representation of the VLA model is aligned with these features to enable instruction-aware 3D understanding. Mind-VLA reaches 93.9% on LIBERO and 4.47 on CALVIN with a compact 345M-parameter backbone. On real-robot tasks with target occlusion, Mind-VLA reaches 54% average success, outperforming the best-performing instruction-agnostic method in real-robot comparison by 32 percentage points. Code will be publicly available.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI