日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

力推定arXiv:2609.23856

物体中心再構成による視覚ベース3次元力推定

Object-Centered Reconstruction for Vision-Based 3D Force Estimation

シェア:XThreadsFacebookLINEはてブBluesky

ステレオ内視鏡映像から軟組織の変形を解析し、物体中心座標系で点群を再構成してニューラルネットワークで3次元力を推定する手法を提案。ファントムと豚結腸で精度を検証した。

詳しい要約

1. どんなもの?

本論文は、ロボット大腸手術において、ステレオ内視鏡動画から軟組織の変形を基に3D相互作用力を推定するvision-basedパイプラインを提案する。da Vinci 5には力覚センシングがあるが、旧型da Vinciや他の手術ロボットにはないため、センサレスで力を推定することを目指す。対象はゴム手袋ファントム、ex vivoブタ結腸、in vivo大腸手術動画。

2. 先行研究と比べてどこがすごい?

従来のcamera-frame表現と比較し、object-centered表現により平均RMSEを51.3%(ファントム)と56.7%(ブタ結腸)削減。また、CoTrackerと比べ、geometry-constrained trackingによりRMSEを19.8%と25.3%削減。これにより、組織の向きや位置、カメラ視点の変化に対してロバストな推定を実現。

3. 技術・手法の肝は?

ステレオ内視鏡動画から組織のpoint cloudを動的に再構成し、object-centered座標系で表現。geometry-constrained trackingで組織点を追跡し、neural networkで3D力ベクトルを予測。これにより、カメラ視点や組織配置の変動に強い推定を可能にする。

4. どうやって有効だと検証した?

ゴム手袋ファントム、ex vivoブタ結腸、in vivo大腸手術動画で段階的に評価。ファントムで平均RMSE 0.77 N、ブタ結腸で1.30 Nを達成。組織の向き・位置・カメラ視点を変えた条件下で評価し、object-centered表現とgeometry-constrained trackingの有効性を定量的に示した。さらにin vivo動画で定性的に実現可能性を実証。

5. 議論はある?

vision-basedかつsensorlessな力推定の臨床応用に向けた一歩として、in vivoでの定性的な実現可能性を示した。しかし、in vivoでの定量的評価や、実際の手術環境でのロバスト性、安全性に関する議論は要旨からは不明。

6. 次に読むべき論文は?

CoTracker(比較対象として言及)、da Vinci 5の力覚センシング、およびvision-based force estimationやsensorless force estimationに関する関連研究。また、軟組織の変形追跡や3D再構成に関する手法も参考になる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zhonghao Zhang, Mingyeung Wu, Hao Yang, Ayberk Acar, Alan Kuntz, Jie Ying Wu

分類: cs.RO

原文アブストラクト

Excessive force may damage tissue and increase the risk of anastomotic leakage in robotic colorectal surgery. Although the da Vinci 5 provides force sensing, this capability is unavailable on earlier da Vinci systems and many other surgical robotic platforms. In this work, we present a vision-based pipeline for estimating 3D interaction forces from soft-tissue deformation in stereo endoscopic video. We dynamically reconstruct the tissue point cloud in an object-centered coordinate frame, track tissue points with geometric constraints, and predict the 3D force vector with a neural network. We progressively evaluate the pipeline on rubber-glove phantoms, ex vivo porcine colons, and in vivo colorectal surgical video sequences. Under varying tissue orientations and positions within the endoscopic view, as well as different camera viewpoints, the proposed method achieves average root mean square error (RMSEs) of 0.77 N and 1.30 N on the phantom and porcine colon, respectively. Compared with the camera-frame representation, the object-centered representation reduces average RMSE by 51.3% and 56.7%, while geometry-constrained tracking reduces RMSE by 19.8% and 25.3% compared with CoTracker. We further qualitatively demonstrate the feasibility of vision-based force estimation on an in vivo colorectal surgical sequence, as a step toward clinical translation of vision-based, sensorless force estimation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI