Sanja Fidler
収録論文 28本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- LidarVerse:タスクとセンサを横断するリアルタイム統合LiDARワールドモデルLiDARシミュレーション2026/10/13
LiDARの時系列データを共通の潜在空間にトークン化し、条件付けを変えることで新規世界生成・点群予測・再シミュレーションを単一モデルで実現、H100で11FPSのリアルタイム長期間ロールアウトを可能にした。
- TRON: 3Dガウス再構成のためのニューラルレンダラをオーケストレーションする光線追跡ニューラルレンダリング2026/6/9
3Dガウス表現に光線追跡とニューラルレンダリングを組み合わせ、実シーンの再照明や動的物体操作、マテリアル編集を可能にするレンダリングフレームワークを提案。
- NVIDIA OmniDreams: 閉ループ自動運転シミュレーションのためのリアルタイム生成ワールドモデル自動運転シミュレーション2026/6/1
自動運転の閉ループシミュレーション向けに、拡散モデルを基盤としたリアルタイム生成ワールドモデルOmniDreamsを提案し、運転行動に応じたセンサ映像を自己回帰的に生成することで、従来の再構成ベースのシミュレータでは困難な長尾シナリオを合成可能にした。
- DriveJudge: 視覚言語モデルによる自動運転評価の再考自動運転評価2026/6/1
自動運転の評価を、ルールベースの物理的根拠と視覚言語モデルの文脈理解を組み合わせたエージェントDriveJudgeを提案し、大規模データセットで人間の判断と高い一致を示した。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成ロコ操作2026/6/1
物理環境や遠隔操作を必要とせず、3Dアセットとビデオ基盤モデルの事前知識を用いて、人型ロボットの全身操作デモを仮想的に生成するパイプラインを提案した。
- Gamma-World: 2人を超える生成型マルチエージェント世界モデル世界モデル2026/5/27
複数エージェントが同時に動作する環境向けの生成型世界モデルを提案し、エージェントの対称性を保つ符号化と効率的な注意機構により、リアルタイムなインタラクティブシミュレーションを実現した。
- MoRight: モーション制御を正しく行う動画生成2026/4/1
ユーザー指定の動作で物体の動きを制御しつつ、カメラ視点も自由に変えられる動画生成フレームワークを提案。能動的動作と受動的反応を分離して因果関係を学習し、順方向・逆方向の推論を可能にした。
- Kimodo: 制御可能な人間動作生成のスケーリング動作生成2026/3/1
700時間の光学モーションキャプチャデータで訓練した、テキストやキネマティック制約で制御可能な高品質な人間動作生成モデルを提案した論文。
- 動画生成のための動き帰属分析動画生成2026/1/1
動画生成モデルにおいて、どの微調整クリップが時間的動きを改善・悪化させるかを特定する、動き中心の勾配ベースデータ帰属フレームワークを提案し、データ選別による動きの品質向上を実現した。
- RadarGen: カメラ画像からの車載レーダ点群生成拡散モデル/レーダ生成2025/12/1
マルチビューカメラ画像から拡散モデルを用いてリアルな車載レーダ点群を生成する手法を提案し、知覚モデルの性能ギャップを縮小した。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- ViPE: 3D幾何知覚のための動画ポーズ推定エンジン3D知覚2025/8/1
未校正の生動画からカメラ内部パラメータ・運動・密な深度を推定する汎用エンジンViPEを提案し、大規模動画データセットに正確な3Dアノテーションを付与して公開した。
- Cosmos-Transfer1:適応的マルチモーダル制御による条件付きワールド生成sim2real2025/3/1
セグメンテーション・深度・エッジなど複数モダリティの空間制御入力を場所ごとに重み付けして世界シミュレーションを生成するモデルを提案し、ロボティクスのSim2Realや自動運転データ拡張への応用とリアルタイム推論を実証した。
- 物理AIのためのCosmos世界基盤モデルプラットフォーム世界モデル2025/1/1
物理AI開発者向けに、カスタマイズ可能な世界モデルを構築するための基盤モデル・動画キュレーション・トークナイザを提供するオープンソースプラットフォーム。
- DistillNeRF: 単眼画像からニューラル場と基盤モデル特徴を蒸留して3Dシーンを認識3D認識2024/6/1
単一フレームの多視点カメラ画像から、NeRFの蒸留とCLIP/DINOv2などの2D基盤モデル特徴の蒸留を組み合わせて、自己教師ありで3Dシーン表現を学習する手法を提案。
- ARSim: マルチビュー一貫性を備えた拡張現実ベースの自動運転知覚向け合成データ生成sim2real2024/3/1
実車のマルチカメラ映像に3D合成物体を自動で合成し、ドメイン適応とランダム化でリアルとシミュレーションのギャップを埋めることで、自動運転の知覚ネットワーク学習用データを拡張するフレームワークを提案した。
- Trajeglish: 次トークン予測としての交通モデリング交通シミュレーション2023/12/1
軌跡を離散トークン化し、GPT型の自己回帰モデルで車・歩行者・自転車の相互作用を予測することで、記録ログに基づくリアルな運転シナリオ生成を実現した。
- Trace and Pace: 誘導拡散による制御可能な歩行者アニメーション歩行2023/4/4
誘導拡散モデルで歩行者の軌道を生成し、物理ベースのヒューマノイド制御と組み合わせて、目標地点や速度、群集を考慮した全身アニメーションを実現した研究。
- VoxFormer: カメラ画像からの3D意味シーン補完のためのスパースボクセルトランスフォーマー3Dシーン補完2023/2/1
2D画像のみから、見えていない部分も含めた完全な3Dボリューム意味情報を推定するTransformerベースの手法を提案。可視ボクセルから密なボクセルへと段階的に補完する。
- PADL: 言語指示による物理ベースキャラクタ制御言語条件付け制御2023/1/31
自然言語コマンドから物理シミュレーション上のヒューマノイドの動作を制御するフレームワークを提案。敵対的模倣学習と言語ベースの多肢選択QAを組み合わせ、高レベルタスクと低レベルスキルを言語で指定可能にした。
- 学習した交通事前分布による事故誘発運転シナリオの生成自動運転シナリオ生成2021/12/1
交通モデルの潜在空間で最適化を行い、現実的かつ危険な衝突シナリオを自動生成する手法STRIVEを提案し、プランナ改善に活用できることを示した。
- DriveGAN:制御可能な高品質ニューラルシミュレータへの挑戦ニューラルシミュレーション2021/4/1
未注釈の動画と操作のペアからピクセル空間で動的環境をシミュレートするニューラルシミュレータDriveGANを提案し、天候や物体位置などの制御も可能にした。
- 微分可能シミュレーションによる物性推定と視覚運動制御sim2real2021/4/1
微分可能なマルチフィジックスシミュレーションと微分可能レンダリングを組み合わせ、動画のピクセルから直接、質量・摩擦・弾性などの物理特性を推定するフレームワークgradSimを提案。3D教師信号なしで視覚運動制御タスクの学習も可能にする。
- 多様な動作を統合制御する汎用ニューラル物理キャラクターコントローラキャラクターアニメーション2020/11/1
大規模モーションデータから数千種類の動作を学習し、高レベル動作スケジューラとRLベース低レベル実行器の二層構成で多様な動作生成・合成を可能にする汎用物理キャラクターコントローラを提案した論文。
- ニューラル計画指標の有効性:nuScenesにおけるPKLのメタ分析自動運転/評価指標2020/10/1
自動運転向けのニューラル計画指標PKLをnuScenes検出チャレンジの全提出物に適用し、mAPとの相関や交通密度・自車速度・道路曲率・交差点に対する挙動の違いを分析した。
- Kaolin: 3D深層学習研究を加速するPyTorchライブラリ3D深層学習ライブラリ2019/11/1
3Dデータの読み込み・前処理、メッシュや点群・SDF・ボクセル操作、微分可能なレンダリングや損失関数、モデルズーをまとめたPyTorch製3D深層学習ライブラリを提案。
- ニューラルグラフ進化:効率的な自動ロボット設計に向けて自動設計2019/6/1
ロボット設計をグラフ探索問題として定式化し、グラフニューラルネットで制御方針をパラメータ化することで評価コストを削減しつつ、不確実性を考慮したグラフ変異で探索空間を絞り、魚やチーターのような構造を自動発見する手法を提案した。
