日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/操作arXiv:2606.31329

3D HAMSTER: 3D軌道ガイダンスによる階層型視覚言語行動モデルの計画と制御の橋渡し

3D HAMSTER: Bridging Planning and Control in Hierarchical Vision Language Action Models through 3D Trajectory Guidance

シェア:XThreadsFacebookLINEはてブBluesky

階層型VLAモデルにおいて、プランナーが直接3D軌道を予測できるようにし、2Dガイダンスの幾何学的歪み問題を解決した。実世界操作で優れた性能を示した。

詳しい要約

1. どんなもの?

- 階層型 Vision-Language-Action (VLA) モデルにおいて、高レベル計画と低レベル制御を橋渡しするフレームワーク 3D HAMSTER を提案。 - 従来の 2D 軌道ガイダンスではなく、VLM が直接メートル単位で信頼できる 3D 軌道を出力し、点群ベースの低レベルポリシーに統合する。 - 外観変化や未見の言語・空間・視覚条件でのロボット操作性能を向上させる。

2. 先行研究と比べてどこがすごい?

- 従来の階層型 VLA では VLM が予測する 2D エンドエフェクタ軌道をガイダンスとして使用。 - しかし最先端の低レベルポリシーは 3D メートル空間の点群で動作するため、2D ガイダンスでは深度が欠如し、各ウェイポイントが直下のシーン表面の深度を割り当てられ、幾何学的に歪んだ軌道になる問題があった。 - 3D HAMSTER はこのギャップを埋め、メートル単位で信頼できる 3D 軌道を計画器が直接出力する点が優れている。

3. 技術・手法の肝は?

- VLM に専用の depth encoder と dense depth reconstruction objective を追加し、3D ウェイポイント系列を予測。 - 予測された 3D 軌道は点群ベースの低レベルポリシーに直接統合される。 - これにより、2D ガイダンスで生じる深度の誤割り当てを回避し、幾何学的に正確な軌道を実現。

4. どうやって有効だと検証した?

- 3D 軌道予測、シミュレーション、実世界操作の三つの設定で評価。 - プロプライエタリな VLM や 2D ガイダンスベースラインと比較し、一貫して優れた性能を達成。 - 特に外観変化を伴うシフトや、未見の言語・空間・視覚条件で最大の改善を示した。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 2D エンドエフェクタ軌道をガイダンスとして用いる先行研究(具体的な論文名は要旨に記載なし)。 - 点群ベースの低レベルポリシーに関する研究。 - 階層型 VLA モデル全般。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Dongyoon Hwang, Byungkun Lee, Dongjin Kim, Hyojin Jang, Hoiyeong Jin, Jueun Mun, Minho Park, Hojoon Lee, Hyunseung Kim, Jaegul Choo

分類: cs.RO, cs.AI

原文アブストラクト

Hierarchical Vision-Language-Action (VLA) models decouple high-level planning from low-level control to improve generalization in robot manipulation. Recent work in this paradigm uses 2D end-effector trajectories predicted by a Vision-Language Model (VLM) as explicit guidance for a downstream policy. However, state-of-the-art low-level policies operate in 3D metric space on point clouds, and feeding them 2D guidance that lacks depth forces each waypoint to be assigned the depth of whatever scene surface lies beneath it, producing geometrically distorted trajectories. We propose 3D HAMSTER, a hierarchical framework that closes this gap by having the planner directly output metrically reliable 3D trajectories. We augment a VLM with a dedicated depth encoder and a dense depth reconstruction objective to predict 3D waypoint sequences, which are directly integrated into a pointcloudbased low-level policy. Across 3D trajectory prediction, simulation, and real-world manipulation, 3D HAMSTER consistently outperforms proprietary VLMs and 2D-guided baselines, with the largest gains under appearance-altering shifts and unseen language, spatial, and visual conditions. The project page is available at https://davian-robotics.github.io/3D_HAMSTER/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI