Zhaoshuo Li
NVIDIA
収録論文 23本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 一人称視点の人間動画からロボットマニピュレーションへ:身体性知能時代のEgo2Robot学習VLA2026/11/10
一人称視点の人間動画(EHV)をロボットのマニピュレーション政策学習に活用するための4つの学習パラダイムを整理し、ベンチマークや課題を展望したサーベイ論文。
- Cosmosによる物理AI向けインタラクティブ世界シミュレーション世界モデル2026/11/4
Cosmos世界基盤モデルを拡張し、行動やシーン操作に応じて映像をリアルタイムに生成する対話型シミュレーションフレームワークを提案。カメラ移動やロボット操作、自動運転のマルチビュー生成などで実証した。
- WorldOracle: 実世界実行と比較する行動条件付き世界モデルのベンチマーク世界モデル2026/10/13
同じ初期観測と行動列に対し、行動条件付き世界モデルの予測が実世界の物理的結果やタスク状態遷移を再現できるかを評価するベンチマークを提案。
- ARC: ロボット基盤モデルのための推論レシピVLA2026/10/8
既存のロボット基盤モデルに「推論トレース」を自動生成して学習させることで、追加のロボット実演データや大規模学習なしにゼロショット性能を大幅に向上させる手法ARCを提案。
- X2Real:実世界汎用ポリシー評価のための拡張可能なシミュレーションベンチマークsim2real2026/9/23
実機との相関0.84を達成したIsaac Labベースの進化型シミュレーションベンチマークで、10能力次元・44タスクにより汎用マニピュレーションポリシーを忠実・多様・公平に評価する。
- SC3-Eval: 自己整合的なビデオ生成によるロボット基盤モデルの評価評価2026/6/1
ロボット操作ポリシーの実世界評価を、アクション条件付きビデオ世界モデルを用いてスケーラブルに代替する手法を提案。前方・逆方向ダイナミクス整合性、クロスビュー整合性、テスト時整合性の3つの整合性を課すことで、正確なポリシー評価を実現する。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- SAGE: 身体性AIのためのスケーラブルなエージェント型3Dシーン生成sim2real2026/2/1
ユーザーが指定した身体性タスクを理解し、複数の生成器と評価器を組み合わせて物理的に妥当でシミュレータ対応の3D環境を自動生成するエージェントフレームワークを提案。
- Openpi Comet:2025 BEHAVIORチャレンジ競技解法マニピュレーション2025/12/1
2025 BEHAVIORチャレンジに向けた解法を提案し、事前学習と事後学習のスケーリング効果を明らかにして、検証Qスコア0.345を達成した。
- Cosmos-H-Surgical: 世界モデルによる手術ロボット方策の動画学習VLA2025/12/1
手術動画から世界モデルを構築し、逆動力学モデルで擬似キネマティクスを推定することで、実演データ不足を補い手術ロボットのVLA方策を学習する手法を提案。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- Cosmos-Reason1:物理的常識から身体性推論へVLA2025/3/1
物理世界を理解し、長い思考連鎖を通じて自然言語で身体的行動決定を生成するマルチモーダル大規模言語モデルCosmos-Reason1を提案し、物理的常識と身体性推論のベンチマークで評価した。
- CoT-VLA:視覚的思考連鎖推論を用いた視覚-言語-行動モデルVLA2025/3/1
将来の画像フレームを視覚的目標として自己回帰的に予測してから行動系列を生成することで、視覚的思考連鎖推論をVLAに組み込み、実世界タスクで17%の性能向上を達成した。
- 物理AIのためのCosmos世界基盤モデルプラットフォーム世界モデル2025/1/1
物理AI開発者向けに、カスタマイズ可能な世界モデルを構築するための基盤モデル・動画キュレーション・トークナイザを提供するオープンソースプラットフォーム。
- ワンステップ拡散方策:拡散蒸留による高速視覚運動方策VLA2024/10/1
事前学習済み拡散方策を蒸留して1ステップで行動を生成する手法を提案し、推論速度を1.5Hzから62Hzへと大幅に高速化した。
- 符号付距離場を用いた手術状況認識の改善:バーチャルリアリティにおけるパイロット研究手術ナビゲーション2023/3/1
手術器具と解剖構造の最小距離を符号付距離場でリアルタイム計算し、視覚・聴覚・触覚のマルチモーダルフィードバックで提示する手術ナビゲーションシステムを開発し、VR環境での乳突削開術シミュレーションで有効性を検証した。
- 頭蓋底手術のための完全没入型VRシステム:手術トレーニングとその先手術トレーニング2023/2/1
頭蓋底手術のトレーニング向けに、高忠実度ハードウェアと手術シミュレーションを組み合わせた完全没入型VRシステムを開発し、熟練度の異なる外科医によるユーザー研究で技能評価の可能性を示した。
- 時間的制約を取り入れた因果推論に基づくロボット器具セグメンテーションの再考医療ロボティクス/セグメンテーション2022/12/1
手術ロボットの器具セグメンテーションにおいて、時間的制約を活用した因果モデルTC-CaRTSを提案し、従来手法より少ない反復で高精度を実現した。
- Twin-S: 頭蓋底手術のためのデジタルツイン手術支援/デジタルツイン2022/11/1
頭蓋底手術を対象に、光学トラッキングとリアルタイムシミュレーションを組み合わせ、手術器具・患者解剖・カメラを追跡して掘削をフレームレートで仮想モデルに反映するデジタルツインフレームワークを提案し、平均1.39mmの精度を達成した。
- 内視鏡向け外観・形状事前分布を活用したSLAMSLAM2022/2/1
内視鏡動画から単眼で内視鏡の位置推定と臓器の密な3D形状復元をリアルタイムに行うため、学習ベースの外観・形状事前分布と因子グラフ最適化を組み合わせたSLAMシステムを開発した。
- 手術訓練とデータ生成を両立するVRフレームワークAMBF+VR手術シミュレーション2021/11/1
VRと触覚フィードバックによる手術シミュレータで、訓練と同時にアルゴリズム開発用データを生成できる枠組みを開発し、頭蓋底手術のドリルシミュレータで実証した。
- 解剖学的メッシュに基づく手術ロボット用バーチャルフィクスチャ手術ロボット2020/6/1
ポリゴンメッシュで表された3D解剖構造の保護的なバーチャルフィクスチャを動的に生成し、手術ロボットの工具動作を異方的に制限する手法を提案。頭蓋骨切断実験で切断経路精度と深さ制御の改善を実証した。
- 網膜手術における術中イメージングのためのハイブリッド制御フレームワーク医療ロボティクス2019/9/1
眼底の細胞レベル観察を目指し、プローブ型共焦点レーザー内視鏡を術者とロボットが協調制御する画像ベースのハイブリッド制御を提案し、協調型と遠隔操作型の2構成で画質・動作の滑らかさ・作業負担の改善を統計的に示した。
