日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2604.11320

CLASP: オープンボキャブラリの机上物体把持のための閉ループ非同期空間知覚

CLASP: Closed-loop Asynchronous Spatial Perception for Open-vocabulary Desktop Object Grasping

シェア:XThreadsFacebookLINEはてブBluesky

机上物体の把持を対象に、視覚言語モデルの空間的幻覚と開ループ実行の脆弱性を克服するため、非同期閉ループフレームワークCLASPを提案した。

詳しい要約

1. どんなもの?

- デスクトップ物体のオープンボキャブラリ把持のためのCLASPを提案。 - 閉ループ非同期空間知覚フレームワーク。 - マルチモーダル知覚・論理推論・状態反射フィードバックを統合。 - 高品質マルチモーダル実演の不足、弱い幾何接地による空間幻覚、動的環境での開ループ実行の脆弱性に対処。

2. 先行研究と比べてどこがすごい?

- 既存のVLMベース把持は開ループ実行で動的環境に弱い。 - 高品質マルチモーダル実演が少なく、空間幻覚が問題。 - CLASPは非同期閉ループ評価器で実行前後の状態を比較し、テキスト診断フィードバックで誤り訂正ループを構築。 - 人間のテレオペレーションなしで空間アノテーションと推論テンプレートを自動合成するデータエンジンを設計。 - 実験で既存ベースラインを大幅に上回り、87.0%の成功率を達成。

3. 技術・手法の肝は?

- Dual-Pathway Hierarchical Perceptionモジュールで高レベル意味意図と幾何接地を分離。 - 推論モデルと確定行動タプルの出力を導き、空間幻覚を低減。 - Asynchronous Closed-Loop Evaluatorで実行前後の状態を比較し、テキストベースの診断フィードバックを提供。 - スケーラブルなマルチモーダルデータエンジンで実シーンと合成シーンから高品質空間アノテーションと推論テンプレートを自動合成。

4. どうやって有効だと検証した?

- 広範な実験を実施。 - 既存ベースラインを大幅に上回る87.0%の全体成功率を達成。 - 多様な物体への汎化、sim-to-realギャップの橋渡し、幾何的に困難なカテゴリや混雑シーンでの堅牢性を示す。

5. 議論はある?

- 要旨からは不明。 - 限界や失敗事例、計算コスト、リアルタイム性に関する議論は記載なし。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVLMベースのロボットマニピュレーション、オープンボキャブラリ把持、sim-to-real転移、閉ループ制御に関する研究が挙げられる。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiran Ling, Wenxuan Li, Siying Dong, Yize Zhang, Xiaoyao Huang, Jing Jiang, Ruonan Li, Jie Liu

分類: cs.RO

原文アブストラクト

Robot grasping of desktop object is widely used in intelligent manufacturing, logistics, and agriculture.Although vision-language models (VLMs) show strong potential for robotic manipulation, their deployment in low-level grasping faces key challenges: scarce high-quality multimodal demonstrations, spatial hallucination caused by weak geometric grounding, and the fragility of open-loop execution in dynamic environments. To address these challenges, we propose Closed-Loop Asynchronous Spatial Perception(CLASP), a novel asynchronous closed-loop framework that integrates multimodal perception, logical reasoning, and state-reflective feedback. First, we design a Dual-Pathway Hierarchical Perception module that decouples high-level semantic intent from geometric grounding. The design guides the output of the inference model and the definite action tuples, reducing spatial illusions. Second, an Asynchronous Closed-Loop Evaluator is implemented to compare pre- and post-execution states, providing text-based diagnostic feedback to establish a robust error-correction loop and improving the vulnerability of traditional open-loop execution in dynamic environments. Finally, we design a scalable multi-modal data engine that automatically synthesizes high-quality spatial annotations and reasoning templates from real and synthetic scenes without human teleoperation. Extensive experiments demonstrate that our approach significantly outperforms existing baselines, achieving an 87.0% overall success rate. Notably, the proposed framework exhibits remarkable generalization across diverse objects, bridging the sim-to-real gap and providing exceptional robustness in geometrically challenging categories and cluttered scenarios.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI