日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2508.05976

PASG：ロボットマニピュレーションにおける幾何プリミティブの自動抽出と意味的アンカリングのための閉ループフレームワーク

PASG: A Closed-Loop Framework for Automated Geometric Primitive Extraction and Semantic Anchoring in Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

物体の幾何プリミティブを自動抽出し、VLMで機能的アフォーダンスと結びつける閉ループ手法を提案。多様なマニピュレーションタスクで手動アノテーションに匹敵する性能を実現した。

詳しい要約

1. どんなもの？

- ロボットマニピュレーションにおける高レベルなタスク意味論と低レベルな幾何特徴の分断を埋める枠組み - Primitive-Aware Semantic Grounding (PASG) と呼ぶ closed-loop framework を提案 - 構成要素は3つ - 幾何特徴集約による自動的な primitive 抽出(keypoint と axis の cross-category 検出) - VLM 駆動の semantic anchoring で幾何 primitive を機能的 affordance やタスク記述と動的に結合 - spatial-semantic reasoning benchmark と fine-tune 済み VLM (Qwen2.5VL-PA) - 多様なシナリオの実ロボット操作タスクで有効性を示す

2. 先行研究と比べてどこがすごい？

- 従来は高レベル意味論と低レベル幾何特徴が分断されていた - VLM は affordance-aware な視覚表現生成で有望だが、次の制約があった - canonical space における semantic grounding の欠如 - 手動アノテーションへの依存 - 動的な semantic-affordance 関係を捉えにくい点 - PASG は primitive 抽出を自動化し、VLM による semantic anchoring を組み合わせることでこれらの制約に対処 - 手動アノテーションに匹敵する性能を達成しつつ、より細粒度な semantic-affordance 理解を実現すると主張

3. 技術・手法の肝は？

- 自動 primitive 抽出: 幾何特徴の集約により keypoint と axis をカテゴリ横断的に検出 - VLM 駆動 semantic anchoring: 幾何 primitive を機能的 affordance およびタスク関連記述に動的に結び付ける - closed-loop framework として抽出と anchoring を循環的に運用 - spatial-semantic reasoning benchmark を整備 - Qwen2.5VL を fine-tune した Qwen2.5VL-PA を構築 - 個々のアルゴリズム詳細やループの具体的更新式は要旨からは不明

4. どうやって有効だと検証した？

- 多様なシナリオの実ロボットマニピュレーションタスクで PASG の有効性を実証 - 性能は手動アノテーションに comparable と報告 - spatial-semantic reasoning benchmark を用意して評価に使用 - 定量指標の種類、被験物体数、ベースライン比較の詳細は要旨からは不明

5. 議論はある？

- 幾何 primitive とタスク意味論を橋渡しする統一パラダイムを提示 - 手動アノテーション依存を緩和しつつ同等性能を狙える点を主張 - 限界・失敗事例・計算コスト・スケーラビリティに関する議論は要旨からは不明 - benchmark の設計妥当性や VLM fine-tune の汎化性についての考察も要旨からは不明

6. 次に読むべき論文は？

- 要旨で直接参照・比較されている研究は明示されていない - 関連手法として以下を挙げて読むのが妥当 - vision-language models (VLM) 全般、特に Qwen2.5VL - affordance-aware visual representation の研究 - semantic grounding / affordance grounding の研究 - keypoint 検出・axis 推定などの geometric primitive extraction 研究 - ロボットマニピュレーション向け spatial-semantic reasoning benchmark 関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhihao Zhu, Yifan Zheng, Siyu Pan, Yaohui Jin, Yao Mu

分類: cs.CV, cs.RO

原文アブストラクト

The fragmentation between high-level task semantics and low-level geometric features remains a persistent challenge in robotic manipulation. While vision-language models (VLMs) have shown promise in generating affordance-aware visual representations, the lack of semantic grounding in canonical spaces and reliance on manual annotations severely limit their ability to capture dynamic semantic-affordance relationships. To address these, we propose Primitive-Aware Semantic Grounding (PASG), a closed-loop framework that introduces: (1) Automatic primitive extraction through geometric feature aggregation, enabling cross-category detection of keypoints and axes; (2) VLM-driven semantic anchoring that dynamically couples geometric primitives with functional affordances and task-relevant description; (3) A spatial-semantic reasoning benchmark and a fine-tuned VLM (Qwen2.5VL-PA). We demonstrate PASG's effectiveness in practical robotic manipulation tasks across diverse scenarios, achieving performance comparable to manual annotations. PASG achieves a finer-grained semantic-affordance understanding of objects, establishing a unified paradigm for bridging geometric primitives with task semantics in robotic manipulation.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING（GPU搭載BTOゲーミングPC）

OZ GAMING（GPU搭載BTOゲーミングPC）の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →