日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.09555

SpatialActor: ロバストなロボットマニピュレーションのための分離された空間表現の探求

SpatialActor: Exploring Disentangled Spatial Representations for Robust Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

意味と幾何を明示的に分離し、ノイズの多い深度と専門家事前知識を融合するフレームワークを提案。RLBenchで87.4%を達成し、ノイズ条件下で13.9%〜19.4%の改善を示す。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための**disentangled spatial representation**を探求するフレームワーク**SpatialActor** - 意味(semantics)と幾何(geometry)を明示的に分離(decouple)する - ノイズのあるdepthとsemantic-guided expert priorsを適応的に融合 - 低レベル空間手がかりを活用した**Spatial Transformer**を備える - 目的は実世界のdepthノイズや空間摂動に対して頑健な操作を実現すること - 50以上のタスクで評価され、RLBenchで87.4%のSOTA性能を報告

2. 先行研究と比べてどこがすごい?

- **Point-based methods**はsparse samplingによりfine-grained semanticsが失われる問題がある - **Image-based methods**はRGBとdepthを3D補助タスクで事前学習した2D backboneに入力するが、entangled semanticsとgeometryが実世界のdepth noiseに敏感でsemantic understandingを乱す - 既存手法はhigh-level geometryに注目し、精密なinteractionに必要なlow-level spatial cuesを軽視している - SpatialActorはsemanticsとgeometryを明示的に分離し、noisy depth下でも13.9%〜19.4%の改善を示す頑健性を主張

3. 技術・手法の肝は?

- **Semantic-guided Geometric Module** - noisy depth由来のgeometryとsemantic-guided expert priorsという2つの相補的geometryを適応的に融合 - **Spatial Transformer** - low-level spatial cuesを活用して正確な2D-3D mappingを実現 - spatial features間のinteractionを可能にする - 全体としてsemanticsとgeometryを分離したdisentangled frameworkを構成 - 詳細なアーキテクチャや学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 複数のsimulationおよびreal-worldシナリオ、50以上のタスクで評価 - **RLBench**で87.4%を達成しstate-of-the-art性能を報告 - 種々のnoisy条件下で13.9%〜19.4%の改善を示し強いrobustnessを確認 - 新規タスクへのfew-shot generalizationを大幅に向上 - 各種spatial perturbations下でもrobustnessを維持することを確認

5. 議論はある?

- 要旨からは不明 - 限界や失敗ケース、計算コスト、real-world展開上の課題についての記述は要旨に無い - 主張されているのはnoisy depthやspatial perturbationへの頑健性とfew-shot generalizationの向上

6. 次に読むべき論文は?

- **Point-based methods**(point-based manipulation手法) - **Image-based methods**(RGBとdepthを2D backboneに入力する手法、3D auxiliary taskで事前学習されたbackbone) - **RLBench**(評価ベンチマーク) - 関連手法として**Spatial Transformer**やsemantic-guided expert priorsの基盤研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hao Shi, Bin Xie, Yingfei Liu, Yang Yue, Tiancai Wang, Haoqiang Fan, Xiangyu Zhang, Gao Huang

分類: cs.RO, cs.CV

原文アブストラクト

Robotic manipulation requires precise spatial understanding to interact with objects in the real world. Point-based methods suffer from sparse sampling, leading to the loss of fine-grained semantics. Image-based methods typically feed RGB and depth into 2D backbones pre-trained on 3D auxiliary tasks, but their entangled semantics and geometry are sensitive to inherent depth noise in real-world that disrupts semantic understanding. Moreover, these methods focus on high-level geometry while overlooking low-level spatial cues essential for precise interaction. We propose SpatialActor, a disentangled framework for robust robotic manipulation that explicitly decouples semantics and geometry. The Semantic-guided Geometric Module adaptively fuses two complementary geometry from noisy depth and semantic-guided expert priors. Also, a Spatial Transformer leverages low-level spatial cues for accurate 2D-3D mapping and enables interaction among spatial features. We evaluate SpatialActor on multiple simulation and real-world scenarios across 50+ tasks. It achieves state-of-the-art performance with 87.4% on RLBench and improves by 13.9% to 19.4% under varying noisy conditions, showing strong robustness. Moreover, it significantly enhances few-shot generalization to new tasks and maintains robustness under various spatial perturbations. Project Page: https://shihao1895.github.io/SpatialActor

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI