日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2604.08410

BLaDA: 3DGSフィールド内で言語を機能的巧みな動作に橋渡しする

BLaDA: Bridging Language to Functional Dexterous Actions within 3DGS Fields

シェア:XThreadsFacebookLINEはてブBluesky

言語指示を3Dガウススプラッティング場に基づく機能的把持の制約として解釈し、ゼロショットで器用な操作を実現するフレームワークを提案した。

詳しい要約

1. どんなもの？

- 非構造環境での機能的dexterous graspingを対象とした解釈可能なzero-shotフレームワークBLaDAを提案。 - 自然言語指示を知覚・制御制約として接地し、semantic理解・3D functional localization・物理的に解釈可能な実行を統合。 - 3D Gaussian Splatting (3DGS) を連続的シーン表現として用い、open-vocabulary指示から機能的把持を実現。

2. 先行研究と比べてどこがすごい？

- モジュール型階層手法はend-to-end VLAより制御性・解釈性に優れるが、既存手法はpredefined affordance labelsに依存し、semantic-pose結合が不十分。 - BLaDAはzero-shotでopen-vocabulary指示を扱い、affordance grounding精度と機能的manipulation成功率で既存手法を大幅に上回る。 - 事前定義ラベル不要で、semanticとposeの密結合を実現。

3. 技術・手法の肝は？

- Knowledge-guided Language Parsing (KLP) で自然言語を操作制約の構造化sextupleに解析。 - Triangular Functional Point Localization (TriLocation) で3DGSを連続シーン表現とし、三角幾何制約下で機能的領域を同定。 - 3D Keypoint Grasp Matrix Transformation Execution (KGT3D+) でsemantic-geometric制約を物理的に妥当なwrist poseとfinger-level commandsにデコード。

4. どうやって有効だと検証した？

- 複雑なbenchmarkでの広範な実験を実施。 - 多様なカテゴリとタスクにおいて、affordance grounding精度と機能的manipulation成功率で既存手法を大幅に上回ることを示した。 - コードは公開予定。

5. 議論はある？

- 要旨からは不明。

6. 次に読むべき論文は？

- end-to-end VLA approaches - modular hierarchical methods - 3D Gaussian Splatting (3DGS) を用いたmanipulation研究 - affordance grounding 関連手法

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Fan Yang, Wenrui Chen, Guorun Yan, Ruize Liao, Wanjun Jia, Dongsheng Luo, Jiacheng Lin, Kailun Yang, Zhiyong Li, Yaonan Wang

分類: cs.CV, cs.RO

原文アブストラクト

In unstructured environments, functional dexterous grasping calls for the tight integration of semantic understanding, precise 3D functional localization, and physically interpretable execution. Modular hierarchical methods are more controllable and interpretable than end-to-end VLA approaches, but existing ones still rely on predefined affordance labels and lack the tight semantic--pose coupling needed for functional dexterous manipulation. To address this, we propose BLaDA (Bridging Language to Dexterous Actions in 3DGS fields), an interpretable zero-shot framework that grounds open-vocabulary instructions as perceptual and control constraints for functional dexterous manipulation. BLaDA establishes an interpretable reasoning chain by first parsing natural language into a structured sextuple of manipulation constraints via a Knowledge-guided Language Parsing (KLP) module. To achieve pose-consistent spatial reasoning, we introduce the Triangular Functional Point Localization (TriLocation) module, which utilizes 3D Gaussian Splatting as a continuous scene representation and identifies functional regions under triangular geometric constraints. Finally, the 3D Keypoint Grasp Matrix Transformation Execution (KGT3D+) module decodes these semantic-geometric constraints into physically plausible wrist poses and finger-level commands. Extensive experiments on complex benchmarks demonstrate that BLaDA significantly outperforms existing methods in both affordance grounding precision and the success rate of functional manipulation across diverse categories and tasks. Code will be publicly available at https://github.com/PopeyePxx/BLaDA.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER（GPU搭載BTOパソコン）

FRONTIER（GPU搭載BTOパソコン）の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →