変形ロボットの視覚ベースオンラインキーポイント推定
Vision-Based Online Key Point Estimation of Deformable Robots
2視点の画像から畳み込みニューラルネットワークを用いて、マーカーなしで柔軟ロボットの3Dキーポイントをオンライン推定する手法を提案した。
著者: Hehui Zheng, Sebastian Pinzello, Barnabas Gavin Cangan, Thomas Buchner, Robert K. Katzschmann
分類: cs.RO
原文アブストラクト
The precise control of soft and continuum robots requires knowledge of their shape, which has, in contrast to classical rigid robots, infinite degrees of freedom. To partially reconstruct the shape, proprioceptive techniques use built-in sensors resulting in inaccurate results and increased fabrication complexity. Exteroceptive methods so far rely on expensive tracking systems with reflective markers placed on all components, which are infeasible for deformable robots interacting with the environment due to marker occlusion and damage. Here, a regression approach is presented for 3D key point estimation using a convolutional neural network. The proposed approach takes advantage of data-driven supervised learning and is capable of online marker-less estimation during inference. Two images of a robotic system are taken simultaneously at 25 Hz from two different perspectives, and are fed to the network, which returns for each pair the parameterized key point or PCC shape representations. The proposed approach outperforms marker-less state-of-the-art methods by a maximum of 4.5% in estimation accuracy while at the same time being more robust and requiring no prior knowledge of the shape. Online evaluations on two types of soft robotic arms and a soft robotic fish demonstrate our method's accuracy and versatility on highly deformable systems.
関連論文
- 流体興奮性ニューロンのためのエネルギーベースモデリングソフトロボティクス
- 剛体マニピュレータの動きで受動腱駆動ソフト延長部を駆動・制御する手法ソフトロボティクス
- 太陽光で自走するサブグラム級ソフトロボットソフトロボティクス
- データ駆動によるソフトヘリコイドロボットの精密制御ソフトロボティクス
- PneuGen:LLMエージェントによるソフト空気圧ロボットのタスク駆動型協調設計ソフトロボティクス
- 柔軟トランクロボットの動的形状制御ソフトロボティクス
