日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚サーボ/姿勢推定arXiv:2602.16365

内視鏡用連続体マニピュレータのマーカーレス6D姿勢推定と位置ベース視覚サーボ

Markerless 6D Pose Estimation and Position-Based Visual Servoing for Endoscopic Continuum Manipulators

シェア:XThreadsFacebookLINEはてブBluesky

内視鏡用連続体マニピュレータに対し、マーカーレスでステレオ画像から6D姿勢を推定し、その推定姿勢に基づく位置ベース視覚サーボを実現する統合フレームワークを提案した。実世界で平均並進誤差0.83mm・回転誤差2.76度の姿勢推定精度と、軌道追従で平均並進誤差2.07mm・回転誤差7.41度を達成した。

詳しい要約

1. どんなもの?

本論文は、flexible endoscopic surgical systems における continuum manipulators のための、markerless stereo 6D pose estimation と position-based visual servoing を統合したフレームワークを提案する。photo-realistic simulation pipeline により大規模自動学習を可能にし、stereo-aware multi-feature fusion network が segmentation masks, keypoints, heatmaps, bounding boxes を活用する。feed-forward rendering-based refinement module で幾何整合性を単一パスで保証し、self-supervised sim-to-real adaptation で実世界性能を向上させる。実世界で mean translation error 0.83 mm、mean rotation error 2.76° を達…

2. 先行研究と比べてどこがすごい?

従来の vision-based approaches は hardware complexity を低減するが、限られた geometric observability と高い computational overhead により real-time closed-loop への適用が制限されていた。本手法は markerless かつ embedded sensing 不要で、stereo-aware multi-feature fusion と feed-forward refinement により幾何観測性を高め、反復最適化なしで幾何整合性を実現する。さらに self-supervised sim-to-real adaptation により実世界性能を向上させ、continuum manipulators に対して初の fully markerless pose-estimation-driven position-based visual servoing framework を実現した点が優れている。

3. 技術・手法の肝は?

技術の肝は以下の通り。 - photo-realistic simulation pipeline により pixel-accurate annotations 付き大規模自動訓練を実現。 - stereo-aware multi-feature fusion network が segmentation masks, keypoints, heatmaps, bounding boxes を統合し geometric observability を強化。 - feed-forward rendering-based refinement module が residual pose corrections を単一パスで予測し、反復最適化なしで幾何整合性を強制。 - self-supervised sim-to-real adaptation strategy が unlabeled data を用いて実世界性能を改善。 - 推定 pose に基づく position-based visual servoing で closed-loop control を実現。

4. どうやって有効だと検証した?

実世界での広範な検証を実施。1,000 サンプルにおいて mean translation error 0.83 mm、mean rotation error 2.76° を達成。markerless closed-loop visual servoing では mean translation error 2.07 mm、mean rotation error 7.41° を記録し、open-loop control と比較してそれぞれ 85% と 59% の削減を達成。さらに repeated point-reaching tasks において高い repeatability を示した。

5. 議論はある?

要旨からは、hysteresis, compliance, limited distal sensing といった課題への対処や、提案手法の限界についての具体的な議論は明記されていない。また、sim-to-real adaptation の詳細や計算コスト、リアルタイム性の定量的評価についても言及がない。議論の有無は要旨からは不明。

6. 次に読むべき論文は?

要旨で参照/比較されている研究は明示されていない。関連手法として、continuum manipulators の pose estimation や visual servoing に関する一般的な研究、例えば model-based approaches や marker-based tracking、他の deep learning-based 6D pose estimation 手法が挙げられる。また、sim-to-real transfer や self-supervised adaptation の分野も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhyun Park, Chunggil An, Myeongbo Park, Ihsan Ullah, Sihyeong Park, Minho Hwang

分類: cs.RO, cs.CV

原文アブストラクト

Continuum manipulators in flexible endoscopic surgical systems offer high dexterity for minimally invasive procedures; however, accurate pose estimation and closed-loop control remain challenging due to hysteresis, compliance, and limited distal sensing. Vision-based approaches reduce hardware complexity but are often constrained by limited geometric observability and high computational overhead, restricting real-time closed-loop applicability. This paper presents a unified framework for markerless stereo 6D pose estimation and position-based visual servoing of continuum manipulators. A photo-realistic simulation pipeline enables large-scale automatic training with pixel-accurate annotations. A stereo-aware multi-feature fusion network jointly exploits segmentation masks, keypoints, heatmaps, and bounding boxes to enhance geometric observability. To enforce geometric consistency without iterative optimization, a feed-forward rendering-based refinement module predicts residual pose corrections in a single pass. A self-supervised sim-to-real adaptation strategy further improves real-world performance using unlabeled data. Extensive real-world validation achieves a mean translation error of 0.83 mm and a mean rotation error of 2.76{\deg} across 1,000 samples. Markerless closed-loop visual servoing driven by the estimated pose attains accurate trajectory tracking with a mean translation error of 2.07 mm and a mean rotation error of 7.41{\deg}, corresponding to 85% and 59% reductions compared to open-loop control, together with high repeatability in repeated point-reaching tasks. To the best of our knowledge, this work presents the first fully markerless pose-estimation-driven position-based visual servoing framework for continuum manipulators, enabling precise closed-loop control without physical markers or embedded sensing.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI