日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

移動操作arXiv:2606.13394

GeoHAT: 移動操作のための幾何適応型ハイブリッド行動変換器

GeoHAT: Geometry-Adaptive Hybrid Action Transformer for Mobile Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

移動操作タスクにおいて、信頼できる幾何情報のみを注入し、必要な箇所にのみ注意を向けるという原理に基づく、エンドツーエンドの拡散ベースフレームワークGeoHATを提案。軽量なフーリエ空間エンコーダとゲート付き融合、およびアームとベースを分離したハイブリッド行動デコーダにより、シミュレーションベンチマークで高い成功率を達成した。

詳しい要約

1. どんなもの?

- モバイルマニピュレーションのための end-to-end diffusion-based framework - 視点が変化する中で mobile base と manipulator を協調させる whole-body mobile manipulation を対象 - 軽量な Fourier spatial encoder で dense per-pixel 3D coordinates を geometric tokens に変換 - それらを vision foundation model features に選択的に注入 - Hybrid Whole-Body Action Decoder で arm と base を別 subspace に分解して行動生成

2. 先行研究と比べてどこがすごい?

- 従来は 2D features や sparse 3D representations に依存し dense spatial structure が不足 - 従来は arm と base を単一 action vector に符号化し制御要求の違いを無視 - 既存の dense fusion は noisy depth 下で pretrained representations を損なう恐れと計算負荷大 - GeoHAT は追加の 3D vision backbone なしで幾何情報を注入 - depth validity で変調した per-token gated fusion により semantic prior を保持

3. 技術・手法の肝は?

- 軽量 Fourier spatial encoder が dense per-pixel 3D coordinates を geometric tokens に写像 - per-token gated fusion を depth validity で変調し vision foundation model features へ選択注入 - Hybrid Whole-Body Action Decoder が arm と base を別 subspace に分解 - 各 action modality が sparse cross-attention で task-relevant visual context に注目 - causal temporal modeling で intra-timestep coordination と inter-timestep dependencies を捕捉

4. どうやって有効だと検証した?

- ManiSkill-HAB simulation benchmark で評価 - 平均成功率 79.3% を達成し最強 baseline を 23.7% 上回る - 実世界の多様なタスクでも全 baseline に対し一貫した改善を確認 - 具体的なタスク内容や評価指標の詳細は要旨からは不明

5. 議論はある?

- 幾何は信頼できる場所にのみ注入し必要な場所でのみ注目する設計原則を提示 - noisy depth 下での pretrained representations の破損リスクと計算負荷を軽減 - arm と base の制御要求の違いを考慮した行動生成の重要性を示唆 - 限界や失敗事例、計算コストの定量的議論は要旨からは不明

6. 次に読むべき論文は?

- ManiSkill-HAB benchmark に関する論文 - vision foundation model を用いた mobile manipulation の先行研究 - diffusion policy に関する研究 - sparse cross-attention や gated fusion を用いたマルチモーダル融合の研究 - Fourier spatial encoder や 3D coordinate 表現に関する研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xiangyu Zhu, Renjun Wu, Luzhou Ge, Jinyan Liu, Xuesong Li

分類: cs.RO

原文アブストラクト

Whole-body mobile manipulation requires coordinating mobile base and manipulator under shifting viewpoints, posing challenges in geometric perception and action generation. Current policies either rely on 2D features or sparse 3D representations that lack dense spatial structure, and typically encode arm and base within one action vector that ignores their distinct control demands. Moreover, existing dense fusion strategies risk corrupting pretrained representations under noisy depth while incurring heavy computational overhead. We present GeoHAT, an end-to-end diffusion-based framework built on a simple principle: geometry should be injected only where reliable and attended to only where needed. GeoHAT employs a lightweight Fourier spatial encoder that maps dense per-pixel 3D coordinates into geometric tokens without an additional 3D vision backbone. These tokens are then selectively injected into vision foundation model features through per-token gated fusion modulated by depth validity, preserving the semantic prior while enriching spatial understanding. For action generation, a Hybrid Whole-Body Action Decoder decomposes arm and base into distinct subspaces and lets each action modality attend to its task-relevant visual context through sparse cross-attention, while causal temporal modeling captures intra-timestep coordination and inter-timestep dependencies. Experiments on the ManiSkill-HAB simulation benchmark demonstrate that GeoHAT achieves a 79.3% mean success rate, surpassing the strongest baseline by 23.7%. Furthermore, real-world experiments on diverse tasks also confirm consistent improvements over all baselines.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI