日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

データ収集/触覚/器用操作arXiv:2603.17851

DexViTac: 接触の多い器用な操作のための人間の視覚-触覚-運動学的デモ収集

DexViTac: Collecting Human Visuo-Tactile-Kinematic Demonstrations for Contact-Rich Dexterous Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う器用な操作の学習のため、第一人称視覚・高密度触覚・手の運動学を高精度に収集できる携帯型データ収集システムDexViTacを提案し、2,400以上のデモデータと触覚表現学習により高い成功率を達成した。

詳しい要約

1. どんなもの?

- 接触の多い器用な操作のための、人間中心の携帯型データ収集システム DexViTac を提案。 - 一人称視点の vision、高密度 tactile sensing、end-effector の pose、hand kinematics を、非構造化・in-the-wild 環境で高忠実に取得可能。 - このハードウェアを基に、kinematics-grounded な tactile representation learning アルゴリズムを提案。 - 2,400 以上の visuo-tactile-kinematic demonstrations からなるマルチモーダルデータセットを構築。

2. 先行研究と比べてどこがすごい?

- 従来の human-centric なデータ収集はスケーリングの障壁を下げるが、物理的相互作用中の tactile 情報の取得が困難だった。 - DexViTac は tactile sensing を含む multimodal な demonstrations を portable に収集できる点が異なる。 - 収集効率は 1 時間あたり 248 demonstrations 超を達成。 - 複雑な visual occlusion に対して頑健である点も示す。

3. 技術・手法の肝は?

- 携帯型で人間中心のハードウェアにより、first-person vision、high-density tactile sensing、end-effector poses、hand kinematics を同時取得。 - 収集したデータに対し、kinematics-grounded な tactile representation learning アルゴリズムを適用。 - このアルゴリズムは tactile 信号内の意味的曖昧性を解消することを狙う。 - 詳細なハードウェア構成やアルゴリズムの数理的定式化は要旨からは不明。

4. どうやって有効だと検証した?

- 収集効率が 1 時間あたり 248 demonstrations 超であることを実験で示す。 - 複雑な visual occlusion に対して頑健であることを確認。 - 実世界展開で、提案データセットと学習戦略で訓練した policy が 4 つの難タスクで平均成功率 85% 超を達成。 - baseline 手法を大幅に上回る性能を示し、有効性を検証。

5. 議論はある?

- 提案システムと学習戦略が contact-rich dexterous manipulation の学習に大きな改善をもたらすと主張。 - 収集効率と occlusion への頑健性、実世界での高成功率を根拠に有効性を議論。 - 限界や失敗事例、一般化可能性、コストなどの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は明記されていない。 - 関連手法として、human-centric data collection systems、tactile representation learning、visuo-tactile マルチモーダル学習、contact-rich dexterous manipulation の既存研究が挙げられる。 - 同分野の定番として、imitation learning や behavior cloning を用いた robot learning の文献が次に読む候補となる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xitong Chen, Yifeng Pan, Min Li, Xiaotian Ding

分類: cs.RO

原文アブストラクト

Large-scale, high-quality multimodal demonstrations are essential for robot learning of contact-rich dexterous manipulation. While human-centric data collection systems lower the barrier to scaling, they struggle to capture the tactile information during physical interactions. Motivated by this, we present DexViTac, a portable, human-centric data collection system tailored for contact-rich dexterous manipulation. The system enables the high-fidelity acquisition of first-person vision, high-density tactile sensing, end-effector poses, and hand kinematics within unstructured, in-the-wild environments. Building upon this hardware, we propose a kinematics-grounded tactile representation learning algorithm that effectively resolves semantic ambiguities within tactile signals. Leveraging the efficiency of DexViTac, we construct a multimodal dataset comprising over 2,400 visuo-tactile-kinematic demonstrations. Experiments demonstrate that DexViTac achieves a collection efficiency exceeding 248 demonstrations per hour and remains robust against complex visual occlusions. Real-world deployment confirms that policies trained with the proposed dataset and learning strategy achieve an average success rate exceeding 85% across four challenging tasks. This performance significantly outperforms baseline methods, thereby validating the substantial improvement the system provides for learning contact-rich dexterous manipulation. Project page: https://xitong-c.github.io/DexViTac/.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI