Shenlong Wang
University of Illinois Urbana-Champaign
収録論文 36本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Box-WAM: 世界行動モデルのためのコンパクトな状態表現としてのボックス軌道VLA2026/10/13
ロボット操作のための世界行動モデルにおいて、未来の全フレーム動画予測の代わりに、タスク関連物体の向き付きバウンディングボックスの軌道を予測することで、計算コストを大幅に削減しつつ行動予測性能を向上させる手法を提案した。
- LidarVerse:タスクとセンサを横断するリアルタイム統合LiDARワールドモデルLiDARシミュレーション2026/10/13
LiDARの時系列データを共通の潜在空間にトークン化し、条件付けを変えることで新規世界生成・点群予測・再シミュレーションを単一モデルで実現、H100で11FPSのリアルタイム長期間ロールアウトを可能にした。
- SAM-V: マルチビューインスタンスセグメンテーションのための幾何認識型Segment Anythingセグメンテーション2026/9/21
フィードフォワード幾何モデル(VGGT)の特徴を2Dセグメンテーション基盤モデル(SAM)に統合し、オフラインのマスクマッチングや3D再構成なしで、単一の順伝播でマルチビューに一貫したインスタンスセグメンテーションを実現した。
- FIRE3D: 1分以内のフィードフォワード対話型3Dシーン再構築3D再構築2026/9/8
単一のRGB画像またはカジュアルなRGBビデオから、1分以内にシミュレーション対応の3Dシーンアセットを生成する統一フレームワークを提案。フィードフォワードのエンドツーエンドネットワークにより、各オブジェクトのポーズ、バウンディングボックス、メッシュ、テクスチャを予測し、物理的に分離された対話可能なシーンを構築する。
- MUSE: 状態推定のマルチモーダル不確実性定量化状態推定2026/5/1
視覚慣性オドメトリの不確実性をリアルタイムで定量化する学習ベースのフレームワークを提案し、Mambaを用いて複数の非同期センサストリームから推定の信頼性を評価する。
- MoRight: モーション制御を正しく行う動画生成2026/4/1
ユーザー指定の動作で物体の動きを制御しつつ、カメラ視点も自由に変えられる動画生成フレームワークを提案。能動的動作と受動的反応を分離して因果関係を学習し、順方向・逆方向の推論を可能にした。
- SAGE: 身体性AIのためのスケーラブルなエージェント型3Dシーン生成sim2real2026/2/1
ユーザーが指定した身体性タスクを理解し、複数の生成器と評価器を組み合わせて物理的に妥当でシミュレータ対応の3D環境を自動生成するエージェントフレームワークを提案。
- 上手くいく動作を模倣:人間動画からのシミュレーション選別モジュール型方策学習マニピュレーション2026/2/1
人間の動画から把持後の動作を学び、シミュレーションで把持の適合性を選別することで、ロボットデータなしに精密なマニピュレーションを実現するモジュール型方策学習フレームワークを提案。
- VisualSync: クロスビュー物体運動によるマルチカメラ同期マルチカメラ同期2025/12/1
複数の未同期・未校正カメラ映像から、共通して見える動物体のエピポーラ制約を利用してミリ秒精度で時間同期を取る最適化フレームワークを提案。
- 人間のための環境で人間らしくナビゲーションするロボットシステムナビゲーション2025/9/1
視覚言語モデルの推論能力を活用し、標識の読み取りや道案内の依頼といった人間らしい行動を組み込んだモジュール式ナビゲーションシステムを提案し、大規模複雑な建物内での効率的な移動を実現した。
- DRAWER: 実環境のリアリズムを備えたデジタル再構築と関節構造の再現sim2real2025/4/1
室内シーンの動画から、細部まで再現されたフォトリアルで操作可能なデジタル環境を自動生成するフレームワークを提案し、ゲーム制作やロボティクスのsim-to-real転移に応用した。
- PhysTwin: 動画からの物理情報に基づく変形可能物体の再構成とシミュレーションsim2real2025/3/1
動的物体の少数視点動画から、ばね-質量モデルとガウシアンスプラッティングを組み合わせて物理的にリアルなデジタルツインを再構成し、リアルタイム対話型シミュレーションやロボット動作計画を可能にするフレームワーク。
- 操作を伴うマッピングのための地図空間信念予測マニピュレーション2025/2/1
ロボットが散らかった棚から物体を効率的に見つけるため、地図空間での信念更新をニューラルネットで行い、不確実性を考慮した計画を可能にする手法を提案。
- タスク・パラメータ・ネクサス:モデルベース制御のためのタスク特化型パラメータ学習モデルベース制御2024/12/1
深層ニューラルネットワークを用いて、任意の追従タスクに対するモデルベース制御器の最適制御パラメータをオンラインで予測する手法を提案し、クアッドロータで未見タスクへの汎化性能を実証した。
- LidarDM:生成された世界における生成的LiDARシミュレーションLiDAR生成/自動運転シミュレーション2024/4/1
潜在拡散モデルで3Dシーンと動的アクターからなる4D世界を生成し、その中で時間的に一貫したリアルなLiDAR点群列を生成するモデルを提案。
- RoboEXP: 対話的探索による行動条件付きシーングラフの構築とロボットマニピュレーションへの応用マニピュレーション2024/2/1
ロボットが環境を自律的に探索し、物体間の行動条件付き関係を表すシーングラフを構築するRoboEXPを提案。大規模マルチモーダルモデルとメモリ設計により、多様な実世界マニピュレーションタスクでの有効性を示した。
- DiffTune-MPC:モデル予測制御のための閉ループ学習モデル予測制御2023/12/1
MPCのコスト関数を閉ループ性能に基づいて自動学習する手法を提案し、評価区間と予測ホライズンが異なる場合にも対応可能とした。
- セマンティック3Dマッピングにおける過信問題セマンティック3Dマッピング2023/11/1
複数視点の深度とセグメンテーションを統合するセマンティック3Dマッピングで、従来手法が誤りにも高い確信度を割り当てる「融合過信問題」を指摘し、学習ベースの融合・校正パイプラインGLFSを提案した論文。
- ContactGen:把持生成のための生成的接触モデリングマニピュレーション2023/10/1
物体中心の接触表現ContactGenを提案し、条件付き生成モデルで接触マップ・部位マップ・方向マップを予測して多様で幾何学的に実現可能な人間の把持を生成する手法。
- MapPrior: 生成モデルによる鳥瞰図マップレイアウト推定BEV知覚2023/8/1
識別モデルと生成モデルを組み合わせ、不確実性を考慮しつつリアルで正確な鳥瞰図セマンティックマップを推定する手法を提案。
- Sim-on-Wheels: 自動運転のための物理世界をループに含むシミュレーション自動運転/sim2real2023/6/1
実車の走行中に仮想の危険交通参加者をカメラ画像へリアルタイム合成し、安全に危険シナリオをテストできる自動運転向け車両インザループシミュレーションフレームワークを提案。
- DiffTune$^+$: 自動微分を用いたハイパーパラメータ不要の自動チューニング制御チューニング2022/12/1
制御器のパラメータ更新にハイパーパラメータ不要の手法を導入し、損失低減を最大化する最適更新を求めることで、従来の学習率依存のDiffTuneを改良した。
- PEANUT: 未見の物体位置を予測してナビゲーションする手法ObjectNav2022/12/1
不完全なセマンティックマップから未観測物体の位置を予測し、その予測をObjectNavに組み込むことで、HM3DとMP3Dで最先端性能を達成した。
- DiffTune: 自動微分による制御器の自動チューニング制御チューニング2022/9/1
力学系と制御器を計算グラフとして展開し、感度伝播による勾配で制御パラメータを最適化する自動チューニング手法を提案。L1適応制御で不確かさを補償し、実機でも偏りのない勾配を得る。
- 仮想対応点:人間を手がかりにした極端視点幾何の復元3D再構成2022/6/1
画像間で重なりがほとんどない極端な視点でも、人間の形状知識を手がかりに「仮想対応点」を推定し、カメラ姿勢や3D復元を高精度に行う手法を提案した論文。
- フィードバックによる逆問題の反復解法逆問題2021/1/1
順過程が返すフィードバック信号を入力に反復更新モデルを学習し、姿勢推定や照明推定などの逆問題を高速かつ高精度に解く手法を提案した。
- 非同期マルチビューSLAMSLAM2021/1/1
カメラ間でシャッターが同期していない場合に対応するため、連続時間運動モデルを統合したマルチカメラSLAMを提案し、482kmの走行データを含む新データセットAMV-Benchで評価した論文。
- GeoSim:自動運転向けの幾何学考慮型合成によるリアルな動画シミュレーションsim2real2021/1/1
既存の走行画像に他のシーンから抽出した動的物体を新たな視点で幾何学的に整合させて合成し、リアルで交通状況を考慮した自動運転シミュレーション動画を生成する手法を提案した論文。
- SceneGen: リアルな交通シーンを生成する学習手法交通シーン生成2021/1/1
自車状態と高精細地図から、ルールやヒューリスティクスを使わずにニューラル自己回帰モデルで多様な交通参加者を配置・生成し、実世界に汎化する知覚モデル学習を可能にした研究。
- 深層パラメトリック連続畳み込みニューラルネットワーク点群処理2021/1/1
非格子構造データ上で動作する学習可能な連続畳み込み演算子を提案し、点群セグメンテーションやLiDAR運動推定で従来手法を大きく上回る性能を示した。
- Pit30M:自動運転時代のグローバル自己位置推定ベンチマーク自己位置推定2020/12/1
3000万フレーム超の画像・LiDARデータセットPit30Mを構築し、都市規模でサブメートル精度の検索ベース自己位置推定を評価する初のベンチマークを提供した論文。
- LiDAR強度マップを用いた自己位置推定の学習自己位置推定2020/12/1
LiDARスキャンと強度マップを深層埋め込み空間に写像し、畳み込みマッチングでリアルタイム(15Hz)・センチメートル精度の自己位置推定を実現した。
- 圧縮バイナリマップによる自己位置推定の学習自己位置推定2020/12/1
自己位置推定タスクに最適化した地図圧縮を学習し、汎用コーデックより2桁小さい容量で精度を維持できることを示した論文。
- 未知クラスも検出する自動運転向けオープンセット点群インスタンスセグメンテーション点群セグメンテーション2019/10/1
点群をカテゴリ非依存の埋め込み空間に投影してクラスタリングすることで、既知・未知クラスの物体を一括でセグメンテーションする手法を提案し、大規模自動運転データセットで有効性を示した。
- 疎なセマンティックHDマップを活用した自動運転車の自己位置推定自己位置推定2019/8/1
車線や標識などの疎なセマンティック地図と複数センサをベイズフィルタで統合し、従来のLiDAR強度地図の0.3%の容量で数cm精度の自己位置推定を実現した。
- 深層剛体インスタンスシーンフローシーンフロー2019/4/1
自動運転向けに、深層学習と剛体運動の事前知識を組み合わせたシーンフロー推定手法を提案し、KITTIで高精度かつ800倍高速化を実現した。
