日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/アフォーダンス/操作学習arXiv:2608.05215

VLAff: 視覚・言語・アフォーダンスモデルによる統合的な実行可能アフォーダンスの獲得

VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances

シェア:XThreadsFacebookLINEはてブBluesky

人間のビデオからロボット操作スキルを学習するため、物体中心の実行可能アフォーダンス(視覚・把持・軌道)を抽出し、大規模言語モデルベースの統一基盤モデルVLAffを提案。実ロボットへのゼロショット適用も実証。

詳しい要約

1. どんなもの?

本論文は、人間の動画からロボット操作スキルを学習するためのフレームワークを提案している。具体的には、一人称視点の人間動画から、3D Structure-from-Motionと手のメッシュ再構成を用いて、物体中心の行動可能なアフォーダンス(視覚・把握・軌道)を抽出する。さらに、大規模データセットEgoAffordanceを構築し、視覚言語モデルに基づく統一基盤モデルVLAffを導入する。VLAffは、視覚観察と指示から、視覚アフォーダンスのヒートマップ、把握ポーズ、軌道を生成し、3Dシーン情報を用いて直接実行可能なアクションに変換する。

2. 先行研究と比べてどこがすごい?

先行研究では、人間とロボットの身体性の不一致が課題であり、物体中心のアフォーダンス学習が有望とされていたが、大規模なデータセットや統一モデルが不足していた。本提案は、大規模データセットEgoAffordance(204Kエピソード、5.6M視覚アフォーダンス、11.6M把握・軌道アフォーダンス)を構築し、視覚・把握・軌道の3種類のアフォーダンスを統合的に学習する点が新しい。また、VLAffは視覚言語モデルを基盤とし、クロスモーダルな相関を学習することで、ゼロショット操作やアフォーダンス誘導のロボット学習に応用可能な点が優れている。

3. 技術・手法の肝は?

手法の肝は、人間の一人称動画から3D再構成を用いてアフォーダンスを自動抽出するパイプラインと、それらを統合的に学習するVLAffモデルである。具体的には、Structure-from-Motionでシーンを再構成し、手のメッシュ再構成で把握情報を取得する。抽出されたアフォーダンスは、視覚(どこを操作するか)、把握(どう握るか)、軌道(どう動かすか)を明示的にエンコードする。VLAffは大規模視覚言語モデルを基盤とし、指示と視覚観察からこれらのアフォーダンスを生成する。生成されたアフォーダンスは3Dシーン情報と組み合わせて、ロボットの実行可能なアクションに変換される。

4. どうやって有効だと検証した?

有効性の検証は、視覚アフォーダンス予測タスクで最先端の性能を達成したこと、および実ロボット応用(ゼロショット操作とアフォーダンス誘導のロボット学習)で有効性を示したことによる。具体的な実験設定や比較対象は要旨からは不明だが、大規模データセットと実ロボット実験を通じて検証している。

5. 議論はある?

要旨からは、議論の余地として、身体性の不一致を完全に解決できるか、アフォーダンス抽出の精度が実環境でどの程度か、データセットのバイアスや一般化の限界などが考えられるが、具体的な議論は要旨に記載されていない。また、VLAffの生成するアフォーダンスが常に実行可能かどうか、安全性やロバスト性に関する議論も要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、人間動画からの操作学習、3D Structure-from-Motion、手のメッシュ再構成、視覚言語モデル、アフォーダンス学習などが挙げられる。具体的な論文名は不明だが、これらの分野の代表的な研究を読むことが推奨される。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jihoon Oh, Kento Kawaharazuka, Kei Okada

分類: cs.RO, cs.CV

原文アブストラクト

Learning manipulation skills from human videos is promising for scalable robot learning. However, the embodiment mismatch between humans and robots makes this challenging. One promising solution is to learn object-centric actionable affordances that are embodiment-agnostic. In this work, we propose a framework that leverages egocentric human videos with state-of-the-art 3D Structure-from-Motion and hand mesh reconstruction to extract actionable affordances such as visual, grasp, and trajectory affordances that explicitly encode where to interact, how to grasp, and how to move. We construct EgoAffordance, a large-scale dataset comprising 204K episodes with 5.6M visual affordances and 11.6M grasp and trajectory affordances. Building on this, we introduce VLAff, a large vision-language model-based unified foundation model that learns cross-modal correlations across all actionable affordances. Given a visual observation and instruction, VLAff generates visual affordance heatmaps, grasp poses, and trajectories, which are then converted into directly executable actions by utilizing 3D scene information. Through extensive experiments, we demonstrate that VLAff not only achieves state-of-the-art performance on visual affordance prediction, but can also be effectively applied to real robot applications such as zero-shot manipulation and affordance-guided robot learning.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI