Jan Kautz
NVIDIA
収録論文 34本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- VFlash:フラッシュプリミティブデコーディングによる高速で正確な視覚計画視覚計画2026/11/5
視覚プリミティブの座標を軽量ドラフタで一括予測し、自己回帰生成より約25倍高速かつ高精度にロボット軌道計画を生成する手法を提案。
- FLORA: ロボティクスデータエンジンをスケールさせるオープンモデルスイートデータエンジン2026/10/22
GR00Tモデル訓練向けの産業品質データエンジンFloraを公開。キャプション生成や報酬ラベリングでSOTAを達成し、API比で約125倍安価に大規模データ処理を実現する。
- Recova: 自律ロボットマニピュレーションのためのエージェント誘導型失敗回復マニピュレーション2026/10/1
デジタルツイン上でエージェントが失敗を診断し回復行動を学習、実機での検証と人間デモを組み合わせて回復能力を拡張する枠組みを提案し、成功率と人間介入の削減を実証した。
- ASENA: 自己進化型エージェントによる身体性ナビゲーションナビゲーション2026/9/30
コーディングエージェントがプログラムを書いて実行・修正・経験を蓄積しながらロボットをナビゲーションさせるシステムを提案し、4Bの単眼ナビゲーション方策と組み合わせてR2RやRxRで高性能を達成した。
- S4VY: フィードフォワード4D視覚幾何におけるセグメントエニシング4Dセグメンテーション2026/9/29
RGB観測からフィードフォワードな4D視覚幾何特徴を抽出し、時空間クエリデコーダで永続的な4Dインスタンスマスクを生成するセグメンテーションモデルを提案。言語指示に基づく4Dグラウンディングも可能。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成ロコ操作2026/6/1
物理環境や遠隔操作を必要とせず、3Dアセットとビデオ基盤モデルの事前知識を用いて、人型ロボットの全身操作デモを仮想的に生成するパイプラインを提案した。
- LocateAnything: 並列ボックスデコードによる高速・高品質な視覚言語グラウンディングVLA2026/5/1
視覚言語モデルによる物体検出・グラウンディングを、ボックス座標を並列に一度でデコードする方式に変え、推論速度と精度を両立させた。
- SpaCeFormer: 提案不要の高速オープンボキャブラリ3Dインスタンス分割3Dインスタンス分割2026/4/1
3Dシーンを空間曲線トランスフォーマーで直接インスタンス分割する提案不要の手法を開発し、従来より2〜3桁高速化。大規模データセットも構築した。
- Kimodo: 制御可能な人間動作生成のスケーリング動作生成2026/3/1
700時間の光学モーションキャプチャデータで訓練した、テキストやキネマティック制約で制御可能な高品質な人間動作生成モデルを提案した論文。
- 世界行動モデルはゼロショット方策であるVLA2026/2/1
動画拡散モデルを基盤に未来の世界状態と行動を予測するWorld Action Model「DreamZero」を提案し、実機でVLAを上回る汎化性能と7Hzのリアルタイム閉ループ制御を実現した。
- Fast-ThinkAct: 言語化可能な潜在プランニングによる効率的な視覚-言語-行動推論VLA2026/1/1
推論トレースを潜在的な思考連鎖に蒸留し、推論VLAの推論遅延を最大89.3%削減しつつ長期的プランニングや適応性能を維持する手法を提案。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- SONIC: 自然なヒューマノイド全身制御のための運動追跡の超大規模化ヒューマノイド制御2025/11/1
運動追跡をスケーラブルなタスクと位置づけ、モデル容量・データ・計算量を大規模化することで、自然で堅牢な全身運動が可能な汎用ヒューマノイド制御器を構築した研究。
- FLARE: 暗黙的世界モデリングによるロボット学習VLA2025/5/1
将来の観測の潜在表現を予測する世界モデリングを拡散トランスフォーマーポリシーに組み込み、模倣学習の性能と汎化を大幅に向上させた手法。
- GENMO: 人間の動作のための汎用モデル動作生成・推定2025/5/1
動作生成と動作推定を単一の枠組みに統合した汎用モデルGENMOを提案。動作推定を制約付き動作生成として再定式化し、回帰と拡散の相乗効果で高精度な推定と多様な生成を両立する。
- DreamGen:動画世界モデルでロボット学習の汎化を解き放つVLA2025/5/1
画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。
- 自律型電動キックボードのための経路追従モデル予測制御経路追従/MPC2025/5/1
電動キックボードの自律走行を実現するため、Raspberry Pi 5上で動作する経路追従モデル予測制御を開発し、実機実験で有効性を示した。
- GR00T N1: 汎用人型ロボットのためのオープン基盤モデルVLA2025/3/1
視覚言語モジュールと拡散トランスフォーマを組み合わせた二重システム構成のVLA基盤モデルを提案し、実機・人間動画・合成データで学習して人型ロボットの両手マニピュレーションを実現した。
- FoundationStereo: ゼロショットステレオマッチングの基盤モデルステレオ深度推定2025/1/1
大規模合成データと単眼基盤モデルの活用により、未知の環境でも高精度にステレオ深度推定を行う基盤モデルを構築した。
- NaVILA: 脚式ロボットのための視覚-言語-行動モデルによるナビゲーションVLA2024/12/1
脚式ロボットの視覚言語ナビゲーションにおいて、VLAモデルで「75cm前進」のような中間行動を生成し、それを強化学習による歩行ポリシーで実行する2階層フレームワークを提案した論文。
- HOVER: ヒューマノイドのための汎用全身制御ニューラルコントローラヒューマノイド全身制御2024/10/1
全身の運動模倣を共通の抽象表現として活用し、ナビゲーションや卓上操作など複数の制御モードを単一の方策に蒸留統合したヒューマノイド全身コントローラを提案した。
- Eagle:複数の視覚エンコーダを組み合わせたマルチモーダルLLMの設計空間の探求VLA2024/8/1
複数の視覚エンコーダを組み合わせる際の設計選択を体系的に比較し、視覚トークンを単純に連結する手法が有効であることを示した上で、Pre-Alignmentを導入したEagleモデルを提案した論文。
- FoundationPose:新規物体の統合的な6D姿勢推定と追跡6D姿勢推定2023/12/1
CADモデルまたは少数の参照画像があれば、微調整なしで未知物体の6D姿勢推定と追跡を行える基盤モデルを提案。大規模合成データとLLM活用で高い汎化性能を実現した。
- FB-OCC: 前後方向ビュー変換に基づく3D占有予測3D占有予測2023/7/1
自動運転向けの3D占有予測タスクにおいて、前後方向のビュー変換を用いたFB-BEVを基盤に、深度とセマンティクスの事前学習やボクセル-BEV表現の統合などで精度を高め、nuScenesで首位となるmIoU 54.19%を達成した。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- 動的カメラ映像からの遮蔽に強いグローバル人体メッシュ復元人体メッシュ復元2021/12/1
動的カメラの単眼動画から、長時間の遮蔽やフレーム外に出た人体も追跡しつつ、一貫したグローバル座標で人体メッシュを復元する手法を提案した論文。
- バイナリTTC:自律ナビゲーションのための時間的ジオフェンス自律ナビゲーション2021/1/1
各ピクセルの衝突時間(TTC)を直接回帰する代わりに、一定時間内に障害物と衝突するかを二値分類で予測し、6.4msで動作する高速な時間的ジオフェンスを実現した研究。
- セグメンテーションを介したsim2real転移sim2real2020/5/1
セグメンテーションを認識と制御の共通インターフェースとして用い、閉ループ制御と合成データによる知覚学習でシミュレーションから実環境への転移を実現した。
- Bi3D: 二値分類によるステレオ深度推定ステレオ深度推定2020/5/1
物体が特定の距離より手前か奥かを二値分類することを繰り返すことで深度を推定し、精度と遅延のトレードオフを柔軟に調整できるステレオ手法を提案した。
- エッジ位置ずれの同時補正と学習エッジ検出2018/8/1
エッジ検出学習でラベルの位置ずれが精度を大きく下げる問題に対し、位置合わせを潜在変数最適化としてネットワーク訓練中にエンドツーエンドで学習する枠組みを提案した論文。
- 実世界デモンストレーションから人間可読な計画を学習する合成訓練ニューラルネットワークsim2real2018/5/1
実世界のデモンストレーションから人間が読めるプログラムを推論・実行するシステムを提案し、合成画像のみで訓練した知覚ネットワークと計画生成・実行ネットワークをBaxterロボットの積み木タスクで実世界検証した。
- 目視と連続制御による高精度把持のsim2real転移sim2real2017/12/1
視覚モジュールと閉ループ制御を分離し、実背景とシミュレーション画像を合成して学習することで、実機で直径1.37cmの小球を90%の成功率で把持できる手法を実現した。
