日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2510.20390

NeuralTouch: 触覚による精密なSim-to-Realロボット制御のためのニューラル記述子

NeuralTouch: Neural Descriptors for Precise Sim-to-Real Tactile Robot Control

シェア:XThreadsFacebookLINEはてブBluesky

Neural Descriptor Fieldsと触覚フィードバックを組み合わせ、強化学習で把持姿勢を微調整することで、実機へのゼロショット転移を可能にしたマルチモーダル枠組みを提案。

詳しい要約

1. どんなもの?

- 物体把持の精度向上を目的としたマルチモーダル枠組み NeuralTouch の提案 - Neural Descriptor Fields (NDF) による視覚ベースの把持姿勢生成と tactile sensing を統合 - 触覚フィードバックで把持を微調整する deep reinforcement learning (RL) policy を学習 - 接触形状を明示せず neural descriptors を条件として把持を洗練 - simulation での ablation と実機への zero-shot transfer で検証

2. 先行研究と比べてどこがすごい?

- NDF 単体は camera calibration の不完全さ、point cloud の欠損、物体多様性により不正確な姿勢を生む - 既存の tactile 手法は単純で事前定義された接触幾何に限定された policy を学習 - NeuralTouch は NDF と tactile sensing を統合し、接触タイプの明示指定を不要にした - 触覚による微調整で把持精度と頑健性を baseline より大幅に改善 - 接触に富む操作への汎用フレームワークを提示

3. 技術・手法の肝は?

- NDF で目標接触幾何を暗黙表現として獲得 - その neural descriptors を条件に deep RL policy を訓練し tactile feedback で把持を洗練 - policy は接触タイプの明示的指定を必要としない設計 - 視覚と触覚のマルチモーダル統合により gentle physical interaction を通じた正確な把持を実現 - 詳細なネットワーク構成や報酬設計は要旨からは不明

4. どうやって有効だと検証した?

- simulation における ablation studies を実施 - 実世界の manipulation タスクへ zero-shot transfer を実施 - 対象タスクは peg-out-in-hole と bottle lid opening - 追加の fine-tuning なしで転送 - baseline 手法と比較し把持精度と頑健性の有意な改善を報告

5. 議論はある?

- NDF 単体の誤差要因として camera calibration、point cloud 欠損、物体多様性を挙げる - 既存 tactile 手法の接触幾何限定という制約を議論 - 接触タイプ非依存の汎用性を主張 - 限界や失敗事例、計算コストなどの詳細は要旨からは不明

6. 次に読むべき論文は?

- Neural Descriptor Fields (NDF) - tactile sensing を用いた contact-rich manipulation の既存研究 - deep reinforcement learning による把持 policy 学習 - sim-to-real transfer および zero-shot transfer の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijiong Lin, Bowen Deng, Keju Pu, Chenghua Lu, Max Yang, Efi Psomopoulou, Nathan F. Lepora

分類: cs.RO

原文アブストラクト

Grasping accuracy is a critical prerequisite for precise object manipulation, often requiring careful alignment between the robot hand and object. Neural Descriptor Fields (NDF) offer a promising vision-based method to generate grasping poses that generalize across object categories. However, NDF alone can produce inaccurate poses due to imperfect camera calibration, incomplete point clouds, and object variability. Meanwhile, tactile sensing enables more precise contact, but existing approaches typically learn policies limited to simple, predefined contact geometries. In this work, we introduce NeuralTouch, a multimodal framework that integrates NDF and tactile sensing to enable accurate, generalizable grasping through gentle physical interaction. Our approach leverages NDF to implicitly represent the target contact geometry, from which a deep reinforcement learning (RL) policy is trained to refine the grasp using tactile feedback. This policy is conditioned on the neural descriptors and does not require explicit specification of contact types. We validate NeuralTouch through ablation studies in simulation and zero-shot transfer to real-world manipulation tasks--such as peg-out-in-hole and bottle lid opening--without additional fine-tuning. Results show that NeuralTouch significantly improves grasping accuracy and robustness over baseline methods, offering a general framework for precise, contact-rich robotic manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI