Stan Birchfield
NVIDIA
収録論文 57本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- cuRoboV2-Fast:高速なトルク制限付き衝突回避動作計画動作計画2026/11/4
GPU加速により、衝突回避・ペイロード考慮・トルク制限付きの動作計画を高速化し、計画時間と実行時間を大幅に短縮したプランナを提案。
- OpenJaws: ステレオ測位を備えた汎用マニピュレーション向けオープンハードウェアUMIフレームワーク模倣学習/データ収集2026/10/27
UMI型の手持ちデータ収集デバイスを完全オープン化し、低コストステレオカメラで単眼より高精度な測位を実現、実機ロボットへのポリシー展開まで示した。
- 能動的知覚で実世界とシミュレーションのずれを埋めるマニピュレーション手法sim2real2026/10/27
手を振る動作と触覚フィードバックという能動的知覚を活用し、実世界とシミュレーションの位置合わせを高精度に行うフレームワークを提案。ミリ単位の物体操作を実機ヒューマノイドで実証した。
- GATOR: 日常画像からの生成的・エージェント的3D物体再構成3D再構成2026/10/8
1枚以上の日常的な画像から、遮蔽部分を推論しつつテクスチャ付き3D物体とシーン内での姿勢を復元する生成的・エージェント的フレームワークを提案。
- PointZero: 転移可能な3Dダイナミクス学習のための3D点追跡補完3Dダイナミクス/事前学習2026/9/16
ロボットの行動ラベルなしで、RGB-D観測と部分的な3D軌跡から全点の未来軌跡を予測する事前学習手法を提案し、下流のダイナミクス予測や模倣学習で有効性を示した。
- Hydra-0: 汎用世界モデリングと制御のためのアクションフロー世界モデル2026/8/18
ロボットの動作をピクセル運動として表現するアクションフローを用いた汎用世界モデルを提案し、動作誤差を大幅に低減し、ゼロショット合成やデータ効率的な適応を実現した。
- PROBE: VLMエージェントによる操作基盤の視覚質問応答VQA/操作計画2026/8/17
ロボットが隠れた物体を探すために操作が必要な動的シーンでの視覚質問応答(MG-VQA)を提案し、シミュレータとベンチマークを構築、VLMエージェントの性能を評価・微調整する手法を示した。
- VoLo: オープン語彙の長期的操作のための物理オーケストレータ操作/VLA2026/6/1
VLMがロボットの多様な能力を中断可能なツールとして統合し、長期的な操作タスクを計画・実行・監視・回復するエージェントループを提案。高忠実度ベンチマークRoboVoLoで評価し、既存手法を上回る性能を実証。
- GraspGen-X: クロスエンボディメント6自由度拡散ベース把持把持2026/6/1
異なるグリッパー形状や物理的把持プロセスにも対応できる、拡散モデルを用いた6自由度把持生成手法を提案。スイープボリュームによるグリッパー表現と手続き的グリッパーによる大規模データセットで訓練し、未知のグリッパーへのゼロショット汎化を実現した。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- RoboLab: タスク汎用ポリシー解析のための高忠実度シミュレーションベンチマークベンチマーク2026/4/1
ロボット基盤モデルの真の汎化性能を評価するため、高忠実度シミュレーション環境でタスク生成と系統的解析を可能にするRoboLabフレームワークと、120タスクからなるRoboLab-120ベンチマークを提案した。
- cuRoboV2:高自由度ロボットのための深度融合距離場を用いた動力学考慮型動作生成動作生成2026/3/1
Bスプライン軌道最適化、GPUネイティブなTSDF/ESDF知覚、全身計算を統合し、高自由度ヒューマノイドでも安全で実行可能な動作生成を高速に実現するフレームワーク。
- SpaceTools: 二重対話型強化学習によるツール拡張空間推論VLA2025/12/1
VLMが複数の視覚ツールを強化学習で協調利用できるよう訓練する二段階フレームワークDIRLを提案し、空間推論ベンチマークで最高性能と実機マニピュレーションを実現した。
- Fast-FoundationStereo:リアルタイムゼロショットステレオマッチングステレオマッチング2025/12/1
ステレオ基盤モデルのゼロショット汎化性能を保ちつつ、知識蒸留・NAS・構造的プルーニングで高速化し、リアルタイム動作を実現した。
- BOP-ASK:視覚言語モデルのための物体インタラクション推論VLA2025/11/1
6D物体姿勢データを活用し、把持姿勢や経路計画などの細かい空間推論を問う15万枚・3300万QAペアの大規模データセットBOP-ASKを構築し、VLMの物体インタラクション理解を評価・訓練する。
- Sim-to-Real転送のためのロボット政策評価:ベンチマークの視点sim2real2025/8/1
本論文は、汎用ロボットマニピュレーション政策のsim-to-real転送を目的としたベンチマーク設計の課題と要件を議論し、高視覚忠実度シミュレーションの活用、タスク複雑性とシナリオ摂動を段階的に増やす評価、実世界性能とシミュレーション性能の整合性の定量化を提案する。
- GraspGen: オブジェクト把持のための拡散モデルフレームワークマニピュレーション2025/7/1
拡散モデルを用いて6自由度の把持を生成し、識別器でフィルタリングするフレームワークを提案。5300万把持のデータセットを公開し、実機でも高い性能を示した。
- OG-VLA: 正投影画像生成による3D認識型視覚言語行動モデルVLA2025/6/1
多視点RGBD観測を正投影画像に変換し、LLMと拡散モデルでエンドエフェクタの次位置・姿勢を生成する3D認識型VLAを提案。未見環境への汎化性能を大幅に向上。
- FoundationStereo: ゼロショットステレオマッチングの基盤モデルステレオ深度推定2025/1/1
大規模合成データと単眼基盤モデルの活用により、未知の環境でも高精度にステレオ深度推定を行う基盤モデルを構築した。
- RoboSpatial:ロボティクスのための2D・3D視覚言語モデルに空間理解を教えるVLA2024/11/1
ロボティクス向けの大規模空間理解データセットRoboSpatialを構築し、2D・3Dの視覚言語モデルに空間推論を学習させることで、空間アフォーダンス予測やロボット操作などのタスク性能を向上させた。
- SPOT: 物体中心操作のためのSE(3)姿勢軌道拡散模倣学習2024/11/1
物体のSE(3)姿勢軌道をタスク表現として用い、拡散ポリシーを条件付ける物体中心模倣学習フレームワークを提案。iPhoneで撮影した8つの実演のみで実世界タスクを制約遵守しつつ完遂した。
- 実世界画像からロボットシミュレーションタスクを生成するGRSsim2real2024/10/1
単一のRGB-D画像からデジタルツインシミュレーションを構築し、仮想エージェント訓練用のタスクを自動生成するシステムを提案。
- 潜在空間生成ワールドモデルによる自動運転模倣学習の共変量シフト緩和自動運転/模倣学習2024/9/1
潜在空間の生成ワールドモデルを訓練に活用し、自動運転ポリシーの共変量シフトを抑える手法を提案。マルチビュー・クロスアテンションと学習済みシーンクエリを備えたTransformer知覚エンコーダも導入し、CARLAとDRIVE Simで閉ループ性能と外乱対応の改善を示した。
- 未知の関節物体のデジタルツイン構築のためのニューラル陰的表現3D再構成2024/4/1
異なる関節状態の2つのRGBDスキャンから、未知の関節物体の形状と関節モデルを再構成し、デジタルツインを構築する手法を提案。
- DeformGS: 高変形シーンにおけるシーンフローと変形物体操作変形物体操作2023/12/1
複数カメラの動画からガウシアンスプラッティングと変形関数を学習し、布などの高変形物体の密な3D追跡(シーンフロー)を実現する手法を提案。
- FoundationPose:新規物体の統合的な6D姿勢推定と追跡6D姿勢推定2023/12/1
CADモデルまたは少数の参照画像があれば、微調整なしで未知物体の6D姿勢推定と追跡を行える基盤モデルを提案。大規模合成データとLLM活用で高い汎化性能を実現した。
- Diff-DOPE: 微分可能な深層物体姿勢推定姿勢推定2023/10/1
微分可能レンダリングを用いて、画像と3Dモデルから物体の6DoF姿勢を学習なしで最適化する手法を提案し、姿勢推定データセットで最先端の結果を達成した。
- HANDAL: 実世界の操作可能物体カテゴリに対する姿勢注釈・アフォーダンス・再構成を含むデータセットデータセット/姿勢推定2023/8/1
ロボットが把持・操作しやすい実世界の道具212個を17カテゴリにわたり、単一カメラと半自動処理で3D姿勢・アフォーダンス・メッシュを注釈付けした大規模データセットを構築した。
- アフォーダンス拡散:手と物体のインタラクションを合成する拡散モデル2023/3/1
物体画像から、その物体を掴む手の姿勢と画像を拡散モデルで生成し、アフォーダンス情報を予測する手法を提案。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- MegaPose: レンダリングと比較による新規物体の6D姿勢推定6D姿勢推定2022/12/1
CADモデルと画像中の関心領域のみを用いて、学習時に未見の物体の6D姿勢を推定する手法を提案。大規模合成データで学習し、実画像の新規物体に再学習なしで適用可能。
- ワンショットニューラルフィールドによる3D物体理解把持2022/10/1
単一のRGB画像からNeRFベースの潜在表現を構築し、新規視点レンダリングや3D再構成、把持予測を可能にするロボット向け表現を提案。
- RGB画像のみからの卓上シーン再構成による衝突回避マニピュレータ制御マニピュレーション2022/10/1
RGBカメラ画像のみからNeRFで卓上シーンの3D形状を再構成し、ESDFとモデル予測制御を用いてマニピュレータを障害物回避しながら目標姿勢へ制御するシステムを提案した。
- NeRFの並列逆最適化によるロバストなカメラ姿勢推定姿勢推定/NeRF2022/10/1
高速NeRFと並列モンテカルロサンプリングを組み合わせ、単一RGB画像から物体やシーンに対するカメラの6自由度姿勢を高精度かつロバストに推定する手法を提案した。
- 不確実性推定を伴うRGB動画からのキーポイントベースカテゴリレベル物体姿勢追跡姿勢推定2022/5/1
単眼RGB動画の連続フレームから既知カテゴリ物体の6DoF姿勢とバウンディング直方体を、キーポイント分布の確率的フィルタリングにより不確実性を考慮して推定・追跡する手法を提案した。
- 家庭用品の6自由度姿勢推定:入手しやすいデータセットとベンチマーク姿勢推定2022/3/1
ロボット操作向けに、市販のおもちゃの食品を用いた6自由度姿勢推定データセットを構築し、対称性に頑健な新しい評価指標ADD-Hを提案した論文。
- PredictionNet:計画・制御・シミュレーションのためのリアルタイム統合確率的交通予測交通予測2021/9/1
周囲の交通エージェントと自車の将来運動を単一パスで確率的に予測するDNNを提案し、実車制御や交通シミュレーションに応用した研究。
- 単一RGB画像からの単段階キーポイントベースカテゴリレベル物体姿勢推定姿勢推定2021/9/1
単一のRGB画像から未知の物体インスタンスのカテゴリレベル6DoF姿勢を推定する単段階キーポイントベース手法を提案し、Objectronベンチマークで最先端を上回る精度を達成した。
- NViSII: フォトリアル画像生成のためのスクリプタブルツール合成データ生成2021/5/1
NVIDIA OptiXのレイトレーシングとAIデノイザを活用し、CV・深層学習研究向けの高品質な合成画像を生成するPython製レンダラを提案。パストレーシングで生成したデータで物体検出・姿勢推定を学習し、sim2real転移の改善を示した。
- 多視点融合による多階層ロボットシーン理解シーン理解2021/3/1
ハンドカメラのRGB画像列から、障害物回避用の点群、未知物体の形状カテゴリと概略姿勢、既知物体の6DoF姿勢を融合的に推定し、マニピュレーション向けの豊富なシーン表現を実現した。
- 幾何・記号シーングラフを用いた長期マニピュレーションの階層的計画マニピュレーション2020/12/1
幾何シーングラフと記号シーングラフの二層表現をGNNで処理し、ニューロシンボリックなタスク計画と低レベル動作生成を統合した長期マニピュレーション手法を提案。実機のキッチン収納タスクで70%超の成功率を達成した。
- 深層強化学習による関節空間制御マニピュレーション2020/11/1
逆運動学の微分方程式を使わず、深層強化学習でタスク空間から関節空間への写像を学習する汎用的な関節レベル制御器を提案し、シミュレーションと実機でセンチメートル以下の精度を達成した。
- 深層物体姿勢推定のための高速不確実性定量化姿勢推定2020/11/1
複数の事前学習済み姿勢推定モデルの予測の不一致から不確実性を推定する簡便な手法を提案し、実ロボット把持の成功率を35%から90%に向上させた。
- 外部単眼RGBカメラからの間接的な物体-ロボット姿勢推定把持/姿勢推定2020/8/1
単一の外部RGBカメラから物体とロボットの相対姿勢を2つのニューラルネットで間接的に推定し、把持を行うシステムを提案。合成データとドメインランダム化で学習し、カメラを自由に動かせる。
- RMPflow:マルチタスク動作ポリシー生成のための幾何学的フレームワークマニピュレーション2020/7/1
リーマン運動ポリシー(RMP)を幾何学的に整合させて統合するRMPflowを提案し、動的環境での複数タスクの反応的動作生成を効率化した。
- MVLidarNet:複数視点を用いた自動運転向けリアルタイム多クラスシーン理解自動運転/3D認識2020/6/1
単一のLiDAR点群を透視図と鳥瞰図の2段階で処理し、物体検出・分類と走行可能領域のセグメンテーションを同時に行うネットワークを提案。組み込みGPU上で150fpsで動作する。
- 単一画像からのカメラ・ロボット間姿勢推定キャリブレーション2019/11/1
ロボットのRGB画像1枚から深層学習でキーポイントを検出し、PnPで外部カメラの姿勢をオンライン推定する手法を提案。実機3種で従来のオフラインキャリブレーションに匹敵する精度を実現した。
- 視触覚を用いた多指ロボットハンド把持政策の文脈的強化学習マニピュレーション2019/11/1
人間の手の動作を初期化に用い、物体のバウンディングボックスと指先触覚センサを組み合わせた文脈的把持政策を強化学習で獲得し、実機でファインチューニングなしに動作させてsim2realのギャップを克服した。
- DexPilot:素手の視覚認識による多指ロボットハンド・アームの低コスト遠隔操作システム遠隔操作2019/10/1
素手の映像だけから23自由度の多指ロボットハンド・アームを低コストで遠隔操作できる視覚ベースのシステムを開発し、単純なピック&プレースを超える複雑な操作タスクの実現と高次元データ収集を示した。
- シミュレーションから実世界への方向付き意味的把握sim2real2019/9/1
手首カメラのRGB画像からDDQNで物体を特定方向から掴む制御を学習し、ドメインランダム化でsim-to-realを実現した研究。
- RMPflow:自動運動ポリシー生成のための計算グラフマニピュレーション2018/11/1
リーマン運動ポリシー(RMP)を幾何学的に整合させて組み合わせ、個別タスクの局所ポリシーから計算効率の良い大域的運動ポリシーを自動生成する手法を提案し、高自由度マニピュレーションの障害物回避で有効性を示した。
- ロボットインタラクションを通じた触覚力推定のロバスト学習触覚2018/10/1
SynTouch BioTac触覚センサの信号から力を推定するロバストなニューラルネットモデルを、3種類の方法で収集した14万サンプルで学習し、力の方向と大きさの推定精度を大幅に向上させた。
- 家庭用品の意味的ロボット把持のための深層物体姿勢推定姿勢推定2018/9/1
ドメインランダム化とフォトリアルな合成データのみで学習した単一RGB画像からの6DoF物体姿勢推定ネットワークを提案し、実ロボットによる家庭用品の把持を実現した。
- 実世界デモンストレーションから人間可読な計画を学習する合成訓練ニューラルネットワークsim2real2018/5/1
実世界のデモンストレーションから人間が読めるプログラムを推論・実行するシステムを提案し、合成画像のみで訓練した知覚ネットワークと計画生成・実行ネットワークをBaxterロボットの積み木タスクで実世界検証した。
- リーマン運動ポリシー運動生成2018/1/1
加速度場とリーマン計量を組み合わせた新たな運動生成の枠組みRMPを提案し、複数ポリシーの融合や空間間の変換を幾何学的に一貫して行えることを示した。
- RGBDデータを用いたエネルギー最小化による3次元非剛体変形表面推定変形物体推定2017/8/1
RGBD画像からSURF特徴・深度・境界情報を対応付け、3次元非線形エネルギー最小化で非剛体物体の形状を推定する手法を提案。テクスチャのない物体でも推定可能なことを示した。
- 深層学習による環境認識を用いた低空自律MAVのトレイルナビゲーション自律飛行2017/5/1
安価な市販ハードで構成した小型ドローンが、深層学習でトレイル中心への向きと横ずれを推定し、森林の小道を1km自律飛行できるシステムを実現した。
