日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

固有受容感覚arXiv:2505.08213

HandCept: 巧みな手のための正確な固有受容感覚を実現する視覚・慣性融合フレームワーク

HandCept: A Visual-Inertial Fusion Framework for Accurate Proprioception in Dexterous Hands

シェア:XThreadsFacebookLINEはてブBluesky

手首搭載のRGB-Dカメラと9軸IMUを拡張カルマンフィルタでリアルタイム融合し、巧みな手の関節角度を2〜4度の誤差でドリフトなく推定する視覚・慣性固有受容感覚フレームワークを提案。

詳しい要約

1. どんなもの?

- dexterous hands の proprioception(関節角度推定)を目的とした visual-inertial fusion framework - 世界初を主張する visual-inertial proprioception framework と位置づけ - wrist-mounted RGB-D camera と 9-axis IMU を組み合わせる - 体積・汎用性の制約で従来の関節角度推定が難しい点を課題とする - 動的環境での noise や drift に対処することを狙う

2. 先行研究と比べてどこがすごい?

- 従来の joint angle estimation 手法の制約を克服することを狙う - visual-only 手法および inertial-only 手法を上回ると報告 - zero-shot learning approach を採用する点が特徴 - 複数 IMU に共通 base frame を用いることで system calibration を簡素化できることを示す - 詳細な先行研究との個別比較は要旨からは不明

3. 技術・手法の肝は?

- wrist-mounted RGB-D camera と 9-axis IMU による visual-inertial fusion - latency-free Extended Kalman Filter (EKF) でリアルタイムに融合 - zero-shot learning approach を採用 - 複数 IMU 間で共通 base frame を仮定し calibration を簡素化 - sim-to-real transfer 向けに high-fidelity rendering pipeline を open-source 化 - 実世界 ground truth なしでの学習を可能にする狙い

4. どうやって有効だと検証した?

- joint angle estimation error が概ね 2° から 4° であると報告 - 観測可能な drift がないと報告 - visual-only および inertial-only 手法より優れると報告 - IMU system の stability と uniformity を検証 - 複数 IMU の共通 base frame が calibration を簡素化することを示す - 詳細な実験条件や被験者数は要旨からは不明

5. 議論はある?

- 動的環境で visual と inertial の測定が noise や drift を生じやすい点を課題として認識 - 共通 base frame の採用が calibration 簡素化に寄与すると議論 - sim-to-real transfer のため high-fidelity rendering pipeline の公開が重要と主張 - robotic manipulation や human-robot interaction への意義に言及 - 限界や失敗事例の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている visual-only 手法および inertial-only 手法の関連研究 - Extended Kalman Filter (EKF) を用いた visual-inertial fusion の先行研究 - dexterous hands の joint angle estimation に関する従来研究 - sim-to-real transfer および high-fidelity rendering に関する研究 - 個別の論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Huang Junda, Honghao Guo, Hao Wu, Zhengyang Liu, Marcelo H Ang, Jianshu Zhou

分類: cs.RO

原文アブストラクト

As robotics progresses toward general manipulation, dexterous hands are becoming increasingly critical. However, proprioception in dexterous hands remains a bottleneck due to limitations in volume and generality. In this work, we present HandCept, the first visual-inertial proprioception framework designed to overcome the challenges of traditional joint angle estimation methods for dexterous hands. HandCept addresses the difficulty of achieving accurate and robust joint angle estimation in dynamic environments where both visual and inertial measurements are prone to noise and drift. It leverages a zero-shot learning approach using a wrist-mounted RGB-D camera and 9-axis IMUs, fused in real time via a latency-free Extended Kalman Filter (EKF). Our results show that HandCept achieves joint angle estimation errors generally between $2^{\circ}$ and $4^{\circ}$ without observable drift, outperforming visual-only and inertial-only methods. Furthermore, we validate the stability and uniformity of the IMU system, demonstrating that a common base frame across IMUs simplifies system calibration. To support sim-to-real transfer, we also open-source our high-fidelity rendering pipeline, which is essential for training without real-world ground truth. This work offers a robust, generalizable solution for proprioception in dexterous hands, with significant implications for robotic manipulation and human-robot interaction. https://github.com/huangjund/blenderYCB

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI