日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.21746

Avi: ボリュメトリック推論による行動生成

Avi: Action from Volumetric Inference

シェア:XThreadsFacebookLINEはてブBluesky

3D点群と言語理解を組み合わせ、次フレームの点群を生成して古典的な幾何変換でロボット動作を計算する3D VLAアーキテクチャを提案。遮蔽や視点変化に頑健な汎化行動を実現する。

詳しい要約

1. どんなもの?

- 3D Vision-Language-Action (VLA) アーキテクチャ「Avi」の提案 - ロボットの行動生成を低レベルな policy learning ではなく、3D 知覚と空間推論の問題として再定義 - 3D point clouds と言語に基づく scene understanding を用い、古典的な幾何変換で action を計算 - 3D Multi-modal Large Language Model (MLLM) を基盤に次の point cloud を生成する方式

2. 先行研究と比べてどこがすごい?

- 既存 VLA は主に 2D 視覚入力で end-to-end にタスク固有の action policy を学習 - Avi は 3D point clouds を活用し、action token の学習を行わない点が異なる - 次の point cloud を生成し古典的変換で action を明示計算するため、不透明な policy learning を回避 - occlusion、camera pose 変動、視点変化に頑健で汎化可能な挙動を狙う

3. 技術・手法の肝は?

- 3D MLLM により次の point cloud を生成 - 生成された 3D 表現に対し古典的な幾何変換を適用して action を算出 - 言語指示と 3D シーン理解を接地させ、高レベル言語から低レベル actuation へ橋渡し - 行動を 3D 表現上の構造化された reasoning task として扱う

4. どうやって有効だと検証した?

- 要旨では「preliminary results」が示唆されるのみ - 具体的なデータセット、ベースライン、評価指標、実験設定は要旨からは不明 - occlusion、camera pose 変動、視点変化への頑健性を主張しているが検証詳細は要旨からは不明

5. 議論はある?

- 3D vision-language reasoning を scalable で robust なロボットシステムの基盤と位置づけ - 次の point cloud 生成と古典変換による action 計算の有効性・限界についての詳細は要旨からは不明 - 計算コスト、生成誤差の影響、実機での性能に関する議論は要旨からは不明

6. 次に読むべき論文は?

- 3D Multi-modal Large Language Model (3D MLLM) 関連研究 - 既存の 2D 入力ベース VLA モデル(action policy を end-to-end 学習する手法) - point cloud 生成・予測に基づくロボット知覚研究 - 言語接地された 3D scene understanding の研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Harris Song, Long Le

分類: cs.RO

原文アブストラクト

We propose Avi, a novel 3D Vision-Language-Action (VLA) architecture that reframes robotic action generation as a problem of 3D perception and spatial reasoning, rather than low-level policy learning. While existing VLA models primarily operate on 2D visual inputs and are trained end-to-end on task-specific action policies, Avi leverages 3D point clouds and language-grounded scene understanding to compute actions through classical geometric transformations. Most notably, Avi does not train on previous action tokens, rather, we build upon a 3D Multi-modal Large Language Model (MLLM) to generate the next point cloud and explicitly calculate the actions through classical transformations. This approach enables generalizable behaviors that are robust to occlusions, camera pose variations, and changes in viewpoint. By treating the robotic decision-making process as a structured reasoning task over 3D representations, Avi bridges the gap between high-level language instructions and low-level actuation without requiring opaque policy learning. Our preliminary results highlight the potential of 3D vision-language reasoning as a foundation for scalable, robust robotic systems. Check it out at https://avi-3drobot.github.io/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI