日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2602.13833

カテゴリレベルで汎化可能な触覚ツール操作のためのセマンティック・コンタクト場

Semantic-Contact Fields for Category-Level Generalizable Tactile Tool Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

視覚的意味情報と密な接触推定を統合した3D表現「SCFields」を提案し、シミュレーション事前学習と実データ微調整により、未知のツールへの触覚操作の汎化を実現した。

詳しい要約

1. どんなもの?

本論文は、カテゴリーレベルの汎化が可能な触覚を活用した道具操作のための新しい3D表現「Semantic-Contact Fields (SCFields)」を提案する。 - 視覚的意味情報と、接触確率・力を含む密な外因性接触推定を融合した統一的3D表現。 - 大規模シミュレーションで事前学習し、少数の実データで微調整する二段階のSim-to-Real Contact Learning Pipelineで学習。 - 得られた力認識表現をdiffusion policyの密な観測入力として用い、未見の道具インスタンスへの物理的汎化を実現。 - scraping、crayon drawing、peelingのタスクで評価。

2. 先行研究と比べてどこがすごい?

先行研究と比べて以下の点が優れている。 - VLAモデルなどの汎用ロボットポリシーは、接触を伴う道具操作に必要な物理的グラウンディングが不足している。 - 触覚やハプティックセンシングを活用する既存の接触認識ポリシーは、通常インスタンス固有であり、多様な道具形状への汎化ができない。 - 本手法は、意味的に転移可能かつ物理的にグラウンディングされた表現を学習することで、これらのギャップを橋渡しする。 - 実世界の多様な触覚データの大規模収集は困難であり、ソフト触覚センサの複雑な非線形変形のため直接的なゼロショットsim-to-real転移も難しいという根本的障壁に対処。

3. 技術・手法の肝は?

技術や手法の肝は以下の通り。 - Semantic-Contact Fields (SCFields): 視覚的意味情報と密な外因性接触推定(接触確率と力)を融合した統一的3D表現。 - 二段階のSim-to-Real Contact Learning Pipeline: まず大規模シミュレーションで事前学習し、幾何認識の接触事前分布を学習。 - 次に、幾何ヒューリスティクスと力最適化により疑似ラベル付けされた少数の実データで微調整し、実触覚信号に整合させる。 - 得られた力認識表現をdiffusion policyの密な観測入力として使用。

4. どうやって有効だと検証した?

scraping、crayon drawing、peelingのタスクにおいて実験を行い、カテゴリーレベルの頑健な汎化を実証。 - 視覚のみのベースラインや生の触覚ベースラインと比較して、有意に優れた性能を示した。 - 詳細な評価指標や実験設定は要旨からは不明。

5. 議論はある?

要旨からは不明。 - 限界や今後の課題についての議論は要旨には記載されていない。

6. 次に読むべき論文は?

要旨で参照/比較されている研究や関連手法を挙げる。 - Vision-Language-Action (VLA) models - 触覚/ハプティックセンシングを活用した接触認識ポリシー - diffusion policy - Sim-to-Real転移に関する研究 - ソフト触覚センサのモデリング

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Kevin Yuchen Ma, Heng Zhang, Weisi Lin, Mike Zheng Shou, Yan Wu

分類: cs.RO

原文アブストラクト

Generalizing tool manipulation requires both semantic planning and precise physical control. Modern generalist robot policies, such as Vision-Language-Action (VLA) models, often lack the physical grounding required for contact-rich tool manipulation. Conversely, existing contact-aware policies that leverage tactile or haptic sensing are typically instance-specific and fail to generalize across diverse tool geometries. Bridging this gap requires learning representations that are both semantically transferable and physically grounded, yet a fundamental barrier remains: diverse real-world tactile data are prohibitive to collect at scale, while direct zero-shot sim-to-real transfer is challenging due to the complex nonlinear deformation of soft tactile sensors. To address this, we propose Semantic-Contact Fields (SCFields), a unified 3D representation that fuses visual semantics with dense extrinsic contact estimates, including contact probability and force. SCFields is learned through a two-stage Sim-to-Real Contact Learning Pipeline: we first pre-train on large-scale simulation to learn geometry-aware contact priors, then fine-tune on a small set of real data pseudo-labeled via geometric heuristics and force optimization to align real tactile signals. The resulting force-aware representation serves as the dense observation input to a diffusion policy, enabling physical generalization to unseen tool instances. Experiments on scraping, crayon drawing, and peeling demonstrate robust category-level generalization, significantly outperforming vision-only and raw-tactile baselines. Project page: https://kevinskwk.github.io/SCFields/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI