Jonathan Tremblay
NVIDIA
収録論文 41本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 正則化強化学習によるsim-to-real転送の改善sim2real2026/10/23
ソフトマックス価値関数に基づく新しい正則化RLアルゴリズムSMM-ACを提案し、実機ロボットでPPOやSACより高いリターンと外乱への頑健性を示した。
- LADDER: 長期的ロボットマニピュレーションベンチマークマニピュレーション2026/10/13
同じ環境内で1から10のサブゴールにスケールする長期的ロボットマニピュレーションベンチマークを提案し、低レベルポリシーとオーケストレーション手法を評価した。
- PROBE: VLMエージェントによる操作基盤の視覚質問応答VQA/操作計画2026/8/17
ロボットが隠れた物体を探すために操作が必要な動的シーンでの視覚質問応答（MG-VQA）を提案し、シミュレータとベンチマークを構築、VLMエージェントの性能を評価・微調整する手法を示した。
- 戦略的スケールアップ：バイアス認識評価とデータ収集によるロボット操作の構成的汎化学習マニピュレーション2026/7/1
事前学習済みポリシーが指示の一部の要素（色など）に過剰に依存する「指示因子バイアス」を定量化する診断フレームワークを提案し、その結果に基づいてデータ収集を再配分することで、少ないデモ数で汎化性能を向上させる手法を示した。
- VoLo: オープン語彙の長期的操作のための物理オーケストレータ操作/VLA2026/6/1
VLMがロボットの多様な能力を中断可能なツールとして統合し、長期的な操作タスクを計画・実行・監視・回復するエージェントループを提案。高忠実度ベンチマークRoboVoLoで評価し、既存手法を上回る性能を実証。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- RoboLab: タスク汎用ポリシー解析のための高忠実度シミュレーションベンチマークベンチマーク2026/4/1
ロボット基盤モデルの真の汎化性能を評価するため、高忠実度シミュレーション環境でタスク生成と系統的解析を可能にするRoboLabフレームワークと、120タスクからなるRoboLab-120ベンチマークを提案した。
- 視覚言語行動モデルのための触覚モダリティ融合VLA2026/3/1
視覚言語行動モデルに触覚信号を軽量に統合するTacFiLMを提案し、接触を伴う挿入・引き出しタスクで成功率や力の安定性を改善した。
- SpaceTools: 二重対話型強化学習によるツール拡張空間推論VLA2025/12/1
VLMが複数の視覚ツールを強化学習で協調利用できるよう訓練する二段階フレームワークDIRLを提案し、空間推論ベンチマークで最高性能と実機マニピュレーションを実現した。
- BOP-ASK：視覚言語モデルのための物体インタラクション推論VLA2025/11/1
6D物体姿勢データを活用し、把持姿勢や経路計画などの細かい空間推論を問う15万枚・3300万QAペアの大規模データセットBOP-ASKを構築し、VLMの物体インタラクション理解を評価・訓練する。
- Sim-to-Real転送のためのロボット政策評価：ベンチマークの視点sim2real2025/8/1
本論文は、汎用ロボットマニピュレーション政策のsim-to-real転送を目的としたベンチマーク設計の課題と要件を議論し、高視覚忠実度シミュレーションの活用、タスク複雑性とシナリオ摂動を段階的に増やす評価、実世界性能とシミュレーション性能の整合性の定量化を提案する。
- RoboArena：汎用ロボットポリシーの分散型実世界評価ロボット評価/ベンチマーク2025/6/1
評価者ネットワークが自由にタスクと環境を選び、ペア比較の二重盲検評価を集約することで、汎用ロボットポリシーをスケーラブルかつ公平にランキングする手法を提案し、7機関・600以上の実機評価で有効性を示した。
- RoboSpatial：ロボティクスのための2D・3D視覚言語モデルに空間理解を教えるVLA2024/11/1
ロボティクス向けの大規模空間理解データセットRoboSpatialを構築し、2D・3Dの視覚言語モデルに空間推論を学習させることで、空間アフォーダンス予測やロボット操作などのタスク性能を向上させた。
- ロボティクスにおけるニューラルフィールド：サーベイニューラルフィールド2024/10/1
ニューラルフィールドのロボティクス応用を200本以上の論文に基づき、4つの主要フレームワークと5つの応用領域（姿勢推定、マニピュレーション、ナビゲーション、物理、自動運転）に分類してレビューしたサーベイ論文。
- 実世界画像からロボットシミュレーションタスクを生成するGRSsim2real2024/10/1
単一のRGB-D画像からデジタルツインシミュレーションを構築し、仮想エージェント訓練用のタスクを自動生成するシステムを提案。
- FactorSim: 因子分解表現による生成的シミュレーションsim2real2024/9/1
自然言語入力からエージェント訓練用の完全なシミュレーションコードを生成する手法を提案し、因子分解POMDP表現で文脈依存を低減、ゼロショット転移性能で既存手法を上回ることを示した。
- 未知の関節物体のデジタルツイン構築のためのニューラル陰的表現3D再構成2024/4/1
異なる関節状態の2つのRGBDスキャンから、未知の関節物体の形状と関節モデルを再構成し、デジタルツインを構築する手法を提案。
- タッチで拓く3Dガウシアンスプラッティング：光沢面を高精度に再構成触覚2024/3/1
触覚の局所深度マップと多視点画像を組み合わせ、光沢・反射面でも少ない画像枚数で高精度に3D再構成する手法を提案。
- Diff-DOPE: 微分可能な深層物体姿勢推定姿勢推定2023/10/1
微分可能レンダリングを用いて、画像と3Dモデルから物体の6DoF姿勢を学習なしで最適化する手法を提案し、姿勢推定データセットで最先端の結果を達成した。
- HANDAL: 実世界の操作可能物体カテゴリに対する姿勢注釈・アフォーダンス・再構成を含むデータセットデータセット/姿勢推定2023/8/1
ロボットが把持・操作しやすい実世界の道具212個を17カテゴリにわたり、単一カメラと半自動処理で3D姿勢・アフォーダンス・メッシュを注釈付けした大規模データセットを構築した。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- MegaPose: レンダリングと比較による新規物体の6D姿勢推定6D姿勢推定2022/12/1
CADモデルと画像中の関心領域のみを用いて、学習時に未見の物体の6D姿勢を推定する手法を提案。大規模合成データで学習し、実画像の新規物体に再学習なしで適用可能。
- NeRFの並列逆最適化によるロバストなカメラ姿勢推定姿勢推定/NeRF2022/10/1
高速NeRFと並列モンテカルロサンプリングを組み合わせ、単一RGB画像から物体やシーンに対するカメラの6自由度姿勢を高精度かつロバストに推定する手法を提案した。
- RGB画像のみからの卓上シーン再構成による衝突回避マニピュレータ制御マニピュレーション2022/10/1
RGBカメラ画像のみからNeRFで卓上シーンの3D形状を再構成し、ESDFとモデル予測制御を用いてマニピュレータを障害物回避しながら目標姿勢へ制御するシステムを提案した。
- ワンショットニューラルフィールドによる3D物体理解把持2022/10/1
単一のRGB画像からNeRFベースの潜在表現を構築し、新規視点レンダリングや3D再構成、把持予測を可能にするロボット向け表現を提案。
- ProgPrompt: 大規模言語モデルを用いた状況依存ロボットタスクプランの生成タスクプランニング2022/9/1
環境内の利用可能な行動と物体をプログラム風に記述し、実行可能な例示プログラムと共にLLMへ入力することで、状況に応じたロボットのタスクプランを生成する手法を提案。
- 不確実性推定を伴うRGB動画からのキーポイントベースカテゴリレベル物体姿勢追跡姿勢推定2022/5/1
単眼RGB動画の連続フレームから既知カテゴリ物体の6DoF姿勢とバウンディング直方体を、キーポイント分布の確率的フィルタリングにより不確実性を考慮して推定・追跡する手法を提案した。
- 家庭用品の6自由度姿勢推定：入手しやすいデータセットとベンチマーク姿勢推定2022/3/1
ロボット操作向けに、市販のおもちゃの食品を用いた6自由度姿勢推定データセットを構築し、対称性に頑健な新しい評価指標ADD-Hを提案した論文。
- 単一RGB画像からの単段階キーポイントベースカテゴリレベル物体姿勢推定姿勢推定2021/9/1
単一のRGB画像から未知の物体インスタンスのカテゴリレベル6DoF姿勢を推定する単段階キーポイントベース手法を提案し、Objectronベンチマークで最先端を上回る精度を達成した。
- NViSII: フォトリアル画像生成のためのスクリプタブルツール合成データ生成2021/5/1
NVIDIA OptiXのレイトレーシングとAIデノイザを活用し、CV・深層学習研究向けの高品質な合成画像を生成するPython製レンダラを提案。パストレーシングで生成したデータで物体検出・姿勢推定を学習し、sim2real転移の改善を示した。
- 多視点融合による多階層ロボットシーン理解シーン理解2021/3/1
ハンドカメラのRGB画像列から、障害物回避用の点群、未知物体の形状カテゴリと概略姿勢、既知物体の6DoF姿勢を融合的に推定し、マニピュレーション向けの豊富なシーン表現を実現した。
- 幾何・記号シーングラフを用いた長期マニピュレーションの階層的計画マニピュレーション2020/12/1
幾何シーングラフと記号シーングラフの二層表現をGNNで処理し、ニューロシンボリックなタスク計画と低レベル動作生成を統合した長期マニピュレーション手法を提案。実機のキッチン収納タスクで70%超の成功率を達成した。
- 深層強化学習による関節空間制御マニピュレーション2020/11/1
逆運動学の微分方程式を使わず、深層強化学習でタスク空間から関節空間への写像を学習する汎用的な関節レベル制御器を提案し、シミュレーションと実機でセンチメートル以下の精度を達成した。
- 深層物体姿勢推定のための高速不確実性定量化姿勢推定2020/11/1
複数の事前学習済み姿勢推定モデルの予測の不一致から不確実性を推定する簡便な手法を提案し、実ロボット把持の成功率を35%から90%に向上させた。
- 外部単眼RGBカメラからの間接的な物体-ロボット姿勢推定把持/姿勢推定2020/8/1
単一の外部RGBカメラから物体とロボットの相対姿勢を2つのニューラルネットで間接的に推定し、把持を行うシステムを提案。合成データとドメインランダム化で学習し、カメラを自由に動かせる。
- 不確実性を考慮した誘導方策最適化：学習とモデルベース手法を組み合わせたサンプル効率の良い方策学習モデルベースRL2020/5/1
モデルベース方策の不確実性を見積もり、信頼できる領域ではモデルを、不確実な領域では局所的に学習した方策を生のセンサ入力で使うことで、実機のペグ挿入を少ない試行で学習する手法を提案。
- 視触覚を用いた多指ロボットハンド把持政策の文脈的強化学習マニピュレーション2019/11/1
人間の手の動作を初期化に用い、物体のバウンディングボックスと指先触覚センサを組み合わせた文脈的把持政策を強化学習で獲得し、実機でファインチューニングなしに動作させてsim2realのギャップを克服した。
- 単一画像からのカメラ・ロボット間姿勢推定キャリブレーション2019/11/1
ロボットのRGB画像1枚から深層学習でキーポイントを検出し、PnPで外部カメラの姿勢をオンライン推定する手法を提案。実機3種で従来のオフラインキャリブレーションに匹敵する精度を実現した。
- シミュレーションから実世界への方向付き意味的把握sim2real2019/9/1
手首カメラのRGB画像からDDQNで物体を特定方向から掴む制御を学習し、ドメインランダム化でsim-to-realを実現した研究。
- 家庭用品の意味的ロボット把持のための深層物体姿勢推定姿勢推定2018/9/1
ドメインランダム化とフォトリアルな合成データのみで学習した単一RGB画像からの6DoF物体姿勢推定ネットワークを提案し、実ロボットによる家庭用品の把持を実現した。
- 実世界デモンストレーションから人間可読な計画を学習する合成訓練ニューラルネットワークsim2real2018/5/1
実世界のデモンストレーションから人間が読めるプログラムを推論・実行するシステムを提案し、合成画像のみで訓練した知覚ネットワークと計画生成・実行ネットワークをBaxterロボットの積み木タスクで実世界検証した。
