Bowen Wen
NVIDIA
収録論文 41本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 能動的知覚で実世界とシミュレーションのずれを埋めるマニピュレーション手法sim2real2026/10/27
手を振る動作と触覚フィードバックという能動的知覚を活用し、実世界とシミュレーションの位置合わせを高精度に行うフレームワークを提案。ミリ単位の物体操作を実機ヒューマノイドで実証した。
- 見て、保ち、学ぶ:マルチモーダルエージェント記憶の進化マルチモーダルエージェント記憶2026/10/14
マルチモーダルエージェントの記憶機構を「情報の形成・表現」と「記憶管理の適応」の2軸で整理し、設計パターンと原則を導出したサーベイ。
- GATOR: 日常画像からの生成的・エージェント的3D物体再構成3D再構成2026/10/8
1枚以上の日常的な画像から、遮蔽部分を推論しつつテクスチャ付き3D物体とシーン内での姿勢を復元する生成的・エージェント的フレームワークを提案。
- PointZero: 転移可能な3Dダイナミクス学習のための3D点追跡補完3Dダイナミクス/事前学習2026/9/16
ロボットの行動ラベルなしで、RGB-D観測と部分的な3D軌跡から全点の未来軌跡を予測する事前学習手法を提案し、下流のダイナミクス予測や模倣学習で有効性を示した。
- RoboTok: 人間のデモンストレーション検索と器用な操作学習のためのインターネット規模データエンジンデータエンジン/操作学習2026/9/2
クエリ動画から関連する人間の操作デモをウェブ動画から検索し、器用なロボットポリシーの訓練に利用するデータエンジンを提案。3D手の軌跡に基づく潜在動作空間を学習し、視点や外観の変化に頑健な検索を実現。
- Hydra-0: 汎用世界モデリングと制御のためのアクションフロー世界モデル2026/8/18
ロボットの動作をピクセル運動として表現するアクションフローを用いた汎用世界モデルを提案し、動作誤差を大幅に低減し、ゼロショット合成やデータ効率的な適応を実現した。
- 人間のデモから接触力ガイダンスを用いた器用操作の学習器用操作2026/7/1
人間のデモから物体に加わる力・トルク空間でガイダンスを作り、強化学習で長期的な器用操作を学習するフレームワークCHORDを提案。大規模ベンチマークで高い成功率を示し、実世界にも転移可能。
- SimFoundry: ポリシー学習と評価のためのモジュール式自動シーン生成sim2real2026/6/1
実世界のビデオからシミュレーション用のシーンを自動生成し、多様なバリエーションを作成してロボットポリシーの訓練と評価を行うシステムを提案。シミュレーションでの評価が実世界性能を強く予測し、訓練時のバリエーション追加が成功率を向上させることを示した。
- GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成ロコ操作2026/6/1
物理環境や遠隔操作を必要とせず、3Dアセットとビデオ基盤モデルの事前知識を用いて、人型ロボットの全身操作デモを仮想的に生成するパイプラインを提案した。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- Fast-FoundationStereo:リアルタイムゼロショットステレオマッチングステレオマッチング2025/12/1
ステレオ基盤モデルのゼロショット汎化性能を保ちつつ、知識蒸留・NAS・構造的プルーニングで高速化し、リアルタイム動作を実現した。
- DeLTa: 実演と言語ガイドによる新規透明物体の操作マニピュレーション2025/10/1
透明物体の長期的な精密操作を実現するため、深度推定・6D姿勢推定・視覚言語計画を統合し、1回の実演から新規物体へ汎化するフレームワークを提案。
- Refinery: 接触の多いタスク向け能動的ファインチューニングと展開時最適化マニピュレーション2025/10/1
ベイズ最適化によるファインチューニングとGMMベースの初期化選択で、接触の多い組立タスクの成功率を91.51%まで向上させ、多部品の長期組立も可能にした。
- Any6D: 未知物体のモデルフリー6D姿勢推定6D姿勢推定2025/3/1
単一のRGB-Dアンカー画像のみから未知物体の6D姿勢とサイズを推定するモデルフリー手法を提案し、5つのデータセットで最先端性能を達成した。
- FoundationStereo: ゼロショットステレオマッチングの基盤モデルステレオ深度推定2025/1/1
大規模合成データと単眼基盤モデルの活用により、未知の環境でも高精度にステレオ深度推定を行う基盤モデルを構築した。
- SPOT: 物体中心操作のためのSE(3)姿勢軌道拡散模倣学習2024/11/1
物体のSE(3)姿勢軌道をタスク表現として用い、拡散ポリシーを条件付ける物体中心模倣学習フレームワークを提案。iPhoneで撮影した8つの実演のみで実世界タスクを制約遵守しつつ完遂した。
- SkillMimicGen: スキル学習と展開を効率化する自動デモ生成模倣学習2024/10/1
少数の人間デモをスキルに分割・適応・連結して大量のデモを自動生成し、ハイブリッドスキルポリシーで長期的タスクの模倣学習と実機転移を実現する。
- FORGE: 不確実性下での接触の多いマニピュレーションのための力誘導探索sim2real2024/8/1
力閾値とダイナミクスランダム化を組み合わせてシミュレーションで学習し、姿勢の不確実性がある実機でも力に基づいて接触の多い作業を安全に遂行できる方策を実現した。
- キャンパス実証実験における低速自動運転シャトルの自己位置推定と知覚に基づく制御自動運転2024/7/1
GPSとIMU、3D LiDAR SLAMを組み合わせ、GPSが使えない環境でも低速自動運転シャトルを制御する手法を実証した論文。
- AutoMate: 多様な形状に対応する専門家・汎用組み立てポリシーマニピュレーション2024/7/1
100種類の組み立てタスクのデータセットと並列シミュレーション環境を構築し、部品特化型と汎用型の組み立てポリシーを学習。シミュレーションから実機へのゼロショット転移を実現した。
- 未知の関節物体のデジタルツイン構築のためのニューラル陰的表現3D再構成2024/4/1
異なる関節状態の2つのRGBDスキャンから、未知の関節物体の形状と関節モデルを再構成し、デジタルツインを構築する手法を提案。
- DeformGS: 高変形シーンにおけるシーンフローと変形物体操作変形物体操作2023/12/1
複数カメラの動画からガウシアンスプラッティングと変形関数を学習し、布などの高変形物体の密な3D追跡(シーンフロー)を実現する手法を提案。
- FoundationPose:新規物体の統合的な6D姿勢推定と追跡6D姿勢推定2023/12/1
CADモデルまたは少数の参照画像があれば、微調整なしで未知物体の6D姿勢推定と追跡を行える基盤モデルを提案。大規模合成データとLLM活用で高い汎化性能を実現した。
- MimicGen:人間のデモンストレーションからスケーラブルなロボット学習を実現するデータ生成システム模倣学習2023/10/1
少数の人間デモを新しい状況に適応させて大規模データセットを自動生成し、模倣学習によるロボットの長期的・高精度タスクの性能を向上させるシステムを提案。
- Diff-DOPE: 微分可能な深層物体姿勢推定姿勢推定2023/10/1
微分可能レンダリングを用いて、画像と3Dモデルから物体の6DoF姿勢を学習なしで最適化する手法を提案し、姿勢推定データセットで最先端の結果を達成した。
- HANDAL: 実世界の操作可能物体カテゴリに対する姿勢注釈・アフォーダンス・再構成を含むデータセットデータセット/姿勢推定2023/8/1
ロボットが把持・操作しやすい実世界の道具212個を17カテゴリにわたり、単一カメラと半自動処理で3D姿勢・アフォーダンス・メッシュを注釈付けした大規模データセットを構築した。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- NeRFの並列逆最適化によるロバストなカメラ姿勢推定姿勢推定/NeRF2022/10/1
高速NeRFと並列モンテカルロサンプリングを組み合わせ、単一RGB画像から物体やシーンに対するカメラの6自由度姿勢を高精度かつロバストに推定する手法を提案した。
- RGB画像のみからの卓上シーン再構成による衝突回避マニピュレータ制御マニピュレーション2022/10/1
RGBカメラ画像のみからNeRFで卓上シーンの3D形状を再構成し、ESDFとモデル予測制御を用いてマニピュレータを障害物回避しながら目標姿勢へ制御するシステムを提案した。
- ワンショットニューラルフィールドによる3D物体理解把持2022/10/1
単一のRGB画像からNeRFベースの潜在表現を構築し、新規視点レンダリングや3D再構成、把持予測を可能にするロボット向け表現を提案。
- 視覚デモンストレーションから逐次操作タスクの感覚運動プリミティブを学習する模倣学習2022/3/1
人の作業を撮影した生の動画だけから、低レベル動作と高レベル判断を同時に学習するニューラルネット枠組みを提案し、ロボットアームの物体操作で既存の模倣学習を上回る性能を示した。
- コンプライアンスを活用した指歩行とマルチモーダル計画による複雑な把持内操作把持内操作2022/1/1
柔軟な劣駆動ハンドの直交安全モードを利用した操作計画と視覚追跡により、触覚センサや関節エンコーダなしで物体の把持内完全SO(3)操作を実現した。
- 一度の実演でカテゴリレベル操作を学習するフレームワーク模倣学習2022/1/1
単一の実演動画からカテゴリレベルの物体表現と6DoF動作追跡を用いて新規物体への操作軌道を生成し、CatBCで閉ループ制御する手法を提案。
- カテゴリレベルでタスクに適した把持をシミュレーションから学習するCaTGraspマニピュレーション2021/9/1
産業用物体のタスクに適した把持を、実世界データ収集や人手注釈なしにシミュレーションのみで学習する枠組みを提案し、カテゴリレベルの正準表現で新規物体へ把持を転移できることを示した。
- BundleTrack: 3Dモデル不要の新規物体6D姿勢追跡6D姿勢追跡2021/8/1
インスタンスやカテゴリレベルの3Dモデルを必要とせず、深層学習のセグメンテーションと特徴抽出、記憶拡張型ポーズグラフ最適化を組み合わせて新規物体の6D姿勢を長期追跡するフレームワークを提案。
- 視覚駆動型コンプライアントマニピュレーションによる高精度組立作業マニピュレーション2021/6/1
視覚ベースの6D物体追跡と受動的適応機構を組み合わせ、力覚センサや高精度マニピュレータなしで0.25mm公差のピン挿入などの精密組立を実現した研究。
- 合成ドメインでの画像残差校正によるデータ駆動型6D姿勢追跡6D姿勢追跡2021/5/1
合成画像と実画像の残差を校正するニューラルネットワークで6D物体姿勢をリアルタイム追跡し、合成データのみの学習でも実画像で高精度を達成した研究。
- 合成ドメインで画像残差を校正するデータ駆動型6D姿勢追跡6D姿勢追跡2020/7/1
合成画像と実画像の残差を校正するニューラルネットで、合成データのみの学習でも実環境の物体6D姿勢を高精度・高頻度(90.9Hz)で追跡する手法を提案。
- 未知物体の制約付き配置のためのタスク駆動型知覚とマニピュレーションマニピュレーション2020/6/1
幾何モデルを持たない未知物体をピックし、衝突なく狭い目標領域に配置するため、保守的・楽観的体積推定を同時に用いる操作計画フレームワークを提案し、双腕ロボットで実証した。
- 適応型ハンドに把持された物体の遮蔽に頑健な姿勢推定姿勢推定2020/3/1
深度画像を用いて、適応型ハンドが物体を大きく遮蔽する状況でも把持物体の6D姿勢を高精度かつ高速に推定するフレームワークを提案し、データセットも公開した。
- 密集物体の複数インスタンスに対するシーン全体の姿勢推定6D姿勢推定2019/10/1
RGB-Dデータから密集・山積みの物体を複数同時に6D姿勢推定する手法を提案。合成データのみで学習し、検出器と姿勢候補のスコアを統合する整数線形計画で衝突を避けつつ高精度を実現した。
