Qi Dou
The Chinese University of Hong Kong
収録論文 44本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- SurgTAP-3D:接触を考慮した3D動作追跡による大規模手術横断ビデオデータセット手術映像/3D追跡2026/11/8
未較正の単眼手術動画から接触領域プロンプトや動的バンドル調整を用いて4Dアノテーションを生成し、52万フレーム・140万軌跡からなる大規模手術3D動作追跡データセットとベンチマークを構築した論文。
- PlayGen2: 明示的な3D状態でリアルタイムに遊べる世界を学習するワールドモデル2026/11/5
学習した3D状態の遷移とニューラルレンダリングを分離し、永続的な世界メモリを持つリアルタイム対話型ワールドモデルを提案。Doomで幾何認識型の移動やNPCとの相互作用を学習し、MacBook Pro上で約160msの低遅延を実現した。
- 接触の多い操作のための同変視覚触覚拡散ポリシーマニピュレーション2026/10/2
視覚と触覚の観測を球面トークンに射影し、同変拡散ポリシーで空間的に一貫した行動を予測することで、接触の多い模倣学習のデータ効率を大幅に向上させるVISTAを提案。
- 強化学習ファインチューニングによる協調マルチエージェント視覚言語行動モデルVLA2026/9/29
事前学習済みVLAを3段階の強化学習ファインチューニングでマルチロボット協調に適応させ、初期化対応データ収集・オフライン信用フィルタリング・潜在空間オンラインRLにより成功率を大幅に向上させた。
- 手術の世界行動モデリングに向けて:手術動作計画のための視覚・軌道同時予測の予備的検討手術計画2026/8/20
手術映像と器具の軌跡を同時に予測する新しいモデルを提案し、将来の視覚状態と動作軌道の一貫性を評価する。
- SurgAM: ロボット自律性のための多モーダル特徴融合による手術アフォーダンスマップ予測手術ロボティクス2026/7/1
手術映像から吸引・クリッピング・牽引などの基本動作に適した領域を予測するアフォーダンスマップ手法を提案し、自己教師ありビジョントランスフォーマーと生成モデルの特徴を適応的に融合、階層的プロンプト学習とシーン誘導デコーダで精度を向上させた。公開データセットから新規データセットを構築し、ファントム実験で実用性も検証した。
- 行動生成はどこから始めるべきか?生成ロボットポリシーのための学習可能なソース事前分布生成ポリシー2026/6/16
生成ロボットポリシーの初期ノイズ分布を、 proprioception に基づく学習可能な対角ガウス分布に置き換える LeaP を提案し、15の操作タスクで成功率を向上させた。
- 周波数認識フローマッチングによる連続かつ一貫したロボット動作生成動作生成2026/6/1
離散的な動作チャンクに依存せず、周波数領域でフローマッチングを行うことで、異なる制御周波数や時間的不整合に頑健な連続動作を生成する手法を提案した。
- 基礎特徴量の幾何誘導モデリングによる一般化可能な物体形状変形学習3D再構成2026/5/28
単眼画像から3D物体形状を復元するため、カテゴリレベルのテンプレートを変形させる枠組みを提案し、基礎特徴量にテンプレートのトポロジーを組み込む幾何誘導機構と視点適応型特徴集約により、未知カテゴリや多視点への頑健な一般化を実現した。
- SSP: 行動制約と空間制約の同時最適化による安全性保証付き手術ポリシー手術ロボティクス2026/3/1
強化学習や模倣学習で得た手術ポリシーに、不確実性を考慮した制御バリア関数を組み合わせ、行動制約と空間制約を満たしつつ安全性を保証するフレームワークを提案した。
- 内視鏡下シーンにおける単眼2D/3Dリアルタイム知覚による柔軟ロボット内視鏡器具の制御医療ロボティクス2026/2/1
単眼内視鏡画像から柔軟器具の位置・姿勢と組織との距離をリアルタイムに推定する2D/3D学習ベース知覚アルゴリズムを提案し、物理シミュレータでデータを生成して連続体ロボットの制御性能を評価した。
- 条件付き拡散モデルによる接触マップ転送で汎用性の高い巧みな把持を生成マニピュレーション2025/11/1
形状テンプレートから新規物体へ高品質な把持を転送するため、接触マップ生成を条件付き拡散モデルで定式化し、パートマップと方向マップも連鎖的に転送する枠組みを提案した。
- RobustVLA: マルチモーダル摂動に対する視覚-言語-行動モデルのロバスト性VLA2025/10/1
VLAモデルの17種類の摂動に対するロバスト性を評価し、行動が最も脆弱であることを発見。出力と入力の両方に対するロバスト化手法を提案し、LIBEROで大幅な性能向上を達成。
- 信頼性の高いAR誘導手術ナビゲーションに向けて:データ駆動型生体力学とプロンプトを用いた対話的変形モデリング手術ナビゲーション2025/6/1
術前モデルと術中解剖のずれを補正するため、FEM精度を保ちつつ高速なデータ駆動型生体力学アルゴリズムを提案し、さらに外科医が対話的にプロンプトを与えて誤整列を修正する仕組みを導入した。公開データセットで平均誤差3.42mm、プロンプト併用で2.78mmを達成した。
- 手術ロボット自動操作のための拡散安定化ポリシー手術ロボット/模倣学習2025/3/1
不完全な軌道データでも学習できる拡散モデルベースのポリシー学習フレームワークを提案し、手術ロボットの自動操作における性能とロバスト性を向上させた。
- 幾何モデリングによる単眼内視鏡シーンのスケール対応深度推定の強化深度推定2024/8/1
単眼内視鏡画像のみから、器具の3D姿勢を幾何学的に推定してスケールを復元し、スケール対応の深度推定を可能にするフレームワークを提案した。
- SegSTRONG-C: 非敵対的生成劣化に対する手術器具のロバストセグメンテーション — EndoVis'24チャレンジセグメンテーション2024/7/1
手術器具セグメンテーションの深層学習モデルが、出血・煙・低照度などの現実的な画像劣化に対してどれだけ頑健かを評価するEndoVis'24チャレンジを開催し、ベースラインと参加手法を比較した。
- SimEndoGS: ロボット手術動画からの物理埋め込み3Dガウシアンによる効率的なデータ駆動型シーンシミュレーションsim2real2024/5/1
ステレオ内視鏡動画から3Dガウシアンを用いて手術シーンを再構成し、マテリアルポイント法で物理変形をシミュレートする手法を提案。数分で再構成でき、リアルタイムに近い速度で変形を生成できる。
- 目標条件付きGPTベース決定トランスフォーマーによる手術ロボットタスク自動化のための多目的クロスタスク学習手術ロボット/クロスタスク学習2024/5/1
GPTベースの目標条件付き決定トランスフォーマーとクロスタスク事前学習を組み合わせ、手術ロボットの長期的な目標達成タスクを自動化する学習フレームワークを提案した。
- 疎なFBG計測による高柔軟手術マニピュレータの形状と力の同時推定触覚2024/4/1
単一コアFBGファイバの疎なひずみ計測から、深層学習を用いて高柔軟な手術ロボットの形状と接触力を同時に推定する手法を提案した。
- 手術ロボットの身体化環境におけるソフトボディの効率的な物理ベースシミュレーション手術ロボット/軟組織シミュレーション2024/2/1
手術ロボットシミュレータSurRoLに、Material Point MethodとNeo-Hookeanモデルを用いた軟組織の物理ベースシミュレーションを統合し、Taichiで並列化して高速化した。
- 任意点軌道モデリングによる方策学習VLA2024/1/1
動画から任意の点の将来軌道を予測するモデルを事前学習し、それを制御ガイダンスとして使うことで、少ない行動ラベルデータで視覚運動方策を学習する手法を提案した。
- 通過可能障害物のある環境での大規模言語・視覚言語モデルを用いた対話型ナビゲーションナビゲーション2023/10/1
GPT-3.5とGrounding DINOを使い、カーテンや草などの通過可能な障害物を認識してLiDAR点群を分割し、行動を考慮したコストマップで経路計画を行う対話型ナビゲーション手法を提案した。
- RGBManip: 能動的な物体姿勢推定による単眼画像ベースのロボットマニピュレーションマニピュレーション2023/10/1
グリッパに搭載した単眼カメラを動かしながら多視点で物体を観察し、強化学習で把持戦略と能動知覚を同期させて6D姿勢推定精度と作業効率を両立する画像のみのマニピュレーション手法を提案。
- ロボット手術における術式非依存な器具先端セグメンテーションのための視覚-運動学グラフ学習手術ロボティクス2023/9/1
画像とロボットの運動学データをグラフ学習で統合し、術式に依存せず手術器具の先端を高精度にセグメンテーションする手法を提案した。
- 手術ロボットの長期的タスクのための価値情報付きスキル連鎖による方策学習手術ロボット/強化学習/スキル連鎖2023/7/1
手術ロボットの長期的タスクをサブタスクに分解し、状態価値関数を用いてサブタスク方策の接続に適した終了状態を選択することで、安定したスキル連鎖を実現する強化学習フレームワークを提案した。
- 針把持のための深層視覚運動ポリシーのエンドツーエンド学習マニピュレーション2023/3/1
手術支援ロボットの針把持タスクに対し、デモンストレーションを活用したモデルベース強化学習(DreamerV2拡張)によるエンドツーエンドの視覚運動ポリシー学習手法を提案し、未見の針形状や画像ノイズへの汎化性能を示した。
- 二段階把持:小型物体のための新しいビンピッキングフレームワークマニピュレーション2023/3/1
乱雑に積み重なった小型物体を精密に把持するため、粗把持と精密把持を二段階に分けたビンピッキング手法を提案し、実験で有効性を示した。
- 手術ロボットのタスク自動化に向けた実演ガイド型強化学習と効率的探索強化学習/手術ロボット2023/2/1
専門家の実演データを活用し、未観測状態でも非パラメトリック回帰でガイドすることで、手術ロボットの強化学習における探索効率とタスク成功率を大幅に改善する手法DEXを提案した。
- 単眼深度誘導と3次元形状計画による柔軟内視鏡の自律知能ナビゲーション医療ロボティクス2023/2/1
単眼深度推定とFBGセンサによる3次元形状計画を組み合わせ、モデル予測制御で柔軟内視鏡を自律ナビゲーションするデータ駆動フレームワークを提案した。
- 手術ロボット学習のための対話型シミュレーション環境によるヒューマン・イン・ザ・ループ身体知能手術ロボット/身体知能/ヒューマン・イン・ザ・ループ2023/1/1
手術ロボット学習用の対話型シミュレータを開発し、人間のデモンストレーションと強化学習を組み合わせることで学習効率が向上することを示した。
- ロボット運動学と単眼内視鏡画像の蒸留埋め込みによる術野のメトリック深度推定と3D再構成医療ロボティクス2022/11/1
ロボット運動学と単眼内視鏡映像を深層学習で統合し、手術シーンのメトリック深度推定と3次元再構成を実現するフレームワークを提案した。
- StereoPose: 背面NOCSを用いたステレオ画像からのカテゴリレベル6D透明物体姿勢推定姿勢推定2022/11/1
透明物体の姿勢推定のため、ステレオ画像から物体サイズ・初期姿勢・姿勢精緻化を分離して推定するフレームワークを提案し、背面NOCSマップと視差注意機構で高精度化を実現した。
- 物理知識蒸留による未知外乱下の重力ダイナミクス深層学習:初期実現可能性検討マニピュレーション2022/10/1
既存の解析モデルを教師として知識蒸留でフィードフォワード深層ニューラルネットを学習し、未知外乱のある高自由度マスタマニピュレータの重力補償を高データ効率で実現する手法を提案した。
- FBGセンサを用いた未モデル化連続体・ソフトロボットのオンライン学習と3次元形状制御ソフトロボティクス2022/9/1
FBGセンサの形状フィードバックを活用し、未知の連続体・ソフトロボットのモデルをオンラインで学習しながら3次元形状を適応制御する手法を提案し、大腸内視鏡や多節ソフトマニピュレータで有効性を示した。
- 反復自己学習によるSim-to-Real 6D物体姿勢推定とロボットビンピッキングへの応用sim2real2022/4/1
フォトリアルなシミュレータで初期モデルを学習し、実データへの予測を擬似ラベルとして反復的に自己学習させることで、実環境での6D姿勢推定精度とビンピッキング成功率を向上させた研究。
- 限られた実演からの3D知覚に基づく模倣学習によるロボット手術の腹腔鏡制御模倣学習/手術ロボティクス2022/4/1
術中動画から腹腔鏡の軌道を抽出し、形状保持型の軌道拡張と並列RGB-Dレンダリング環境での強化学習・敵対的模倣学習を組み合わせ、限られた実演でも腹腔鏡の自動制御方策を学習するフレームワークを提案した。
- 手術教育のためのAIとARを統合したロボット手術支援システムの初期検討手術ロボティクス2022/1/1
強化学習で専門家の実演から3Dガイド軌跡を生成し、ARでdVRKのステレオ視野に重畳表示する手術教育システムを開発し、ペグ移し課題で有効性を確認した。
- SurRoL: dVRK対応の手術ロボット学習向け強化学習プラットフォーム手術ロボット/sim2real2021/8/1
da Vinci研究キット(dVRK)と互換性のある、強化学習を中心とした手術ロボット学習用シミュレーションプラットフォームSurRoLを開発し、実機への転移性能が高いことを示した論文。
- 教師なし運動・視覚データ整合によるドメイン適応型ロボットジェスチャ認識ドメイン適応2021/3/1
シミュレータと実機のドメインギャップを、運動学と視覚のマルチモーダル知識を教師なしで転移するフレームワークで埋め、手術ジェスチャ認識の精度を大幅に改善した論文。
- 学習ベースの深度知覚を用いた腹腔鏡最適視野制御のデータ駆動型統合フレームワーク手術支援ロボティクス2020/11/1
手術動画から腹腔鏡の動作戦略を学習し、単眼カメラの深度推定とツール位置認識を組み合わせて腹腔鏡の視野を自動制御するフレームワークを提案した論文。
- 視覚と運動学の埋め込みに対する関係グラフ学習によるロボット手術の高精度ジェスチャー認識手術支援/マルチモーダル2020/11/1
手術映像とロボット運動学のマルチモーダル情報を関係グラフネットワークで統合し、手術ジェスチャーを高精度に認識する手法を提案した論文。
- 空間最適化と学習を統合した縫合糸の3D再構成と自律把持フレームワークマニピュレーション2020/7/1
転移学習による縫合糸のセグメンテーションと複数トポロジー下での系列推定・最短経路最適化により、環境ノイズに頑健に縫合糸の3D形状を再構成し把持点を決定する手法を提案した。
- 強化学習と木探索によるロボット支援手術の自動ジェスチャー認識手術支援/強化学習2020/2/1
手術映像のジェスチャー分割と分類を、強化学習エージェントと木探索で統合的に行い、JIGSAWSデータセットの縫合タスクで既存手法を上回った研究。
