日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2601.09031

汎化可能な幾何学的事前知識と再帰スパイキング特徴学習によるヒューマノイドロボットマニピュレーション

Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルに軽量な2D幾何学的バイアスを組み込み、再帰スパイキングネットワークで時空間一貫性を学習することで、未見環境での汎化と少ない実演からのデータ効率的な動作生成を実現した。

詳しい要約

1. どんなもの?

- 本論文は、ヒューマノイドロボットのマニピュレーションのための新しいフレームワーク「RGMP-S」を提案している。 - RGMP-Sは、Recurrent Geometric-prior Multimodal Policy with Spiking featuresの略で、高レベルのスキル推論とデータ効率の良い動作生成を可能にする。 - 視覚言語モデル内で軽量な2D幾何学的帰納バイアスを利用して正確な3Dシーン理解を実現する。 - 長期的な幾何学的先行スキルセレクタを構築し、意味的命令と空間的制約を整合させる。 - 再帰的適応スパイキングネットワークを導入し、ロボットと物体の相互作用を再帰的スパイキングでパラメータ化する。 - Maniskillシミュレーションベンチマークと3つの異なる実世界ロボットシステムで実験を行い、最先端ベースラインを上回る性能を示した。

2. 先行研究と比べてどこがすごい?

- 既存のフレームワークでは、正確なシーン理解と人間のデモンストレーションからのサンプル効率の良い学習が課題であった。 - 本手法は、軽量な2D幾何学的帰納バイアスを視覚言語モデルに組み込むことで、物理現実に基づいた高レベル推論を可能にし、未見環境での堅牢な汎化を実現する。 - 再帰的適応スパイキングネットワークにより、スパースなデモンストレーションシナリオでの過学習を軽減し、データ効率を向上させる。 - 実験結果は、最先端ベースラインに対する優位性と、多様な汎化シナリオでの有効性を実証している。

3. 技術・手法の肝は?

- 高レベル推論を物理現実に接地するため、軽量な2D幾何学的帰納バイアスを活用し、視覚言語モデル内で正確な3Dシーン理解を可能にする。 - 長期的な幾何学的先行スキルセレクタを構築し、意味的命令と空間的制約を効果的に整合させ、未見環境での堅牢な汎化を達成する。 - データ効率の問題に対処するため、再帰的適応スパイキングネットワークを導入する。 - ロボットと物体の相互作用を再帰的スパイキングでパラメータ化し、時空間的一貫性を実現する。 - 長期的な動的特徴を完全に蒸留し、スパースなデモンストレーションシナリオでの過学習を軽減する。

4. どうやって有効だと検証した?

- Maniskillシミュレーションベンチマークと3つの異なる実世界ロボットシステム(カスタム開発ヒューマノイド、デスクトップマニピュレータ、商用ロボットプラットフォーム)で広範な実験を実施。 - 実験結果は、本手法が最先端ベースラインよりも優れていることを実証し、提案モジュールが多様な汎化シナリオで有効であることを検証した。 - 再現性のためにソースコードとビデオデモンストレーションが公開されている。

5. 議論はある?

- 要旨からは、手法の限界や議論の詳細は明示されていない。 - 実験結果は優位性を示しているが、特定のシナリオや制約に関する議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていないが、関連手法としてManiskillシミュレーションベンチマークや視覚言語モデル、スパイキングニューラルネットワーク、ロボットマニピュレーションのための模倣学習などが挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuetao Li, Wenke Huang, Mang Ye, Jifeng Xuan, Bo Du, Sheng Liu, Miao Li

分類: cs.RO, cs.AI

原文アブストラクト

Humanoid robot manipulation is a crucial research area for executing diverse human-level tasks, involving high-level semantic reasoning and low-level action generation. However, precise scene understanding and sample-efficient learning from human demonstrations remain critical challenges, severely hindering the applicability and generalizability of existing frameworks. This paper presents a novel RGMP-S, Recurrent Geometric-prior Multimodal Policy with Spiking features, facilitating both high-level skill reasoning and data-efficient motion synthesis. To ground high-level reasoning in physical reality, we leverage lightweight 2D geometric inductive biases to enable precise 3D scene understanding within the vision-language model. Specifically, we construct a Long-horizon Geometric Prior Skill Selector that effectively aligns the semantic instructions with spatial constraints, ultimately achieving robust generalization in unseen environments. For the data efficiency issue in robotic action generation, we introduce a Recursive Adaptive Spiking Network. We parameterize robot-object interactions via recursive spiking for spatiotemporal consistency, fully distilling long-horizon dynamic features while mitigating the overfitting issue in sparse demonstration scenarios. Extensive experiments are conducted across the Maniskill simulation benchmark and three heterogeneous real-world robotic systems, encompassing a custom-developed humanoid, a desktop manipulator, and a commercial robotic platform. Empirical results substantiate the superiority of our method over state-of-the-art baselines and validate the efficacy of the proposed modules in diverse generalization scenarios. To facilitate reproducibility, the source code and video demonstrations are publicly available at https://github.com/xtli12/RGMP-S.git.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI