Xiaolong Wang
University of California San Diego
収録論文 107本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- HuG: 能動知覚を備えたヒューマノイド全身アフォーダンス認識型把持の学習マニピュレーション2026/11/1
遮蔽された物体に対し視点選択と全身動作を統合し、制御器の安定性を考慮したシミュレーション学習のみで実世界87.5%の把持成功率を達成したフレームワーク。
- 能動的知覚で実世界とシミュレーションのずれを埋めるマニピュレーション手法sim2real2026/10/27
手を振る動作と触覚フィードバックという能動的知覚を活用し、実世界とシミュレーションの位置合わせを高精度に行うフレームワークを提案。ミリ単位の物体操作を実機ヒューマノイドで実証した。
- シミュレーション事前分布によるモデルベース強化学習の高速適応：自動運転レースへの応用sim2real2026/10/19
低・高忠実度のシミュレーション軌道で世界モデルを事前学習し、不確実性正則化プランニングで実車の少ない相互作用から高速適応する枠組みを提案し、実車レースで1時間未満の適応を実現した。
- FINGR: 実世界でのルービックキューブ解法のための巧みな手の制御学習マニピュレーション2026/9/27
指先基準の幾何表現と将来の接触・回転進捗を予測する補助タスクを組み合わせた方策を学習し、実機の巧みな手でルービックキューブの層回しを高成功率で実現した。
- 世界モデルによる汎化可能なロボット挿入マニピュレーション2026/9/23
手首カメラの視覚と固有感覚を統合した単一の世界モデルを最大90の挿入タスクで訓練し、未知形状の物体へのゼロショット挿入を実現した研究。
- Neverwhere ビジュアルパルクールベンチマークスイートsim2real2026/9/14
3Dガウススプラッティングで再構成した60以上の都市シーンからなる、視覚移動制御の閉ループ評価環境を構築し、多様なデータの必要性を示した。
- 離散的な心から連続的な行動へ：エンドツーエンド自動運転のための潜在整合プランニング自動運転2026/9/3
Vision-Language Modelの離散的な推論と自動運転の連続的な物理制約を橋渡しするため、潜在整合プランニングを備えたVLAフレームワークLaPlaを提案。量子化誤差を排除し、物理的に妥当な軌道を生成する。
- ReForce: 力覚を考慮した器用な操作のためのリターゲティング学習マニピュレーション2026/8/16
人間のデモからロボットの操作へ変換する際、運動学的なリターゲティングに加えて力の情報を考慮し、接触を再現する手法を提案。シミュレーションと実機で力追従誤差を低減し、多指接触を強化した。
- FACT: 失敗を考慮した因果的ワールドアクションモデル訓練VLA2026/8/1
ワールドアクションモデルに失敗データを組み込み、行動の結果を予測させることで、将来予測の偏りを減らし、操作タスクの性能を向上させる手法を提案した。
- EgoPhys: 一人称視点動画から変形物体の汎用的物理モデルを学習する変形物体/物理モデル/一人称視点2026/6/15
一人称視点のRGB動画のみから変形物体の物理デジタルツインを構築するフレームワークを提案し、未知物体へのゼロショット一般化を実現した。
- 人間のデモンストレーションからロボットハンドを生成するロボットハンド設計2026/6/1
人間の指先動作データを用いて、ロボットハンドの設計を自動生成するデータ駆動型フレームワークを提案した。
- TactX: 多様なセンサにわたる共有触覚表現の学習触覚2026/6/1
異なる原理の触覚センサ（抵抗、磁気、視覚）からのデータを共通の潜在空間に写像するフレームワークTactXを提案し、あるセンサで訓練した操作ポリシーを別のセンサへゼロショット転移できることを示した。
- ConTrack: 適応的トレードオフ制御による拘束付き手の動作追跡模倣学習/強化学習2026/6/1
物体追跡を制約とし、残りの制御権を動作忠実度に割り当てる強化学習フレームワークを提案。長期的な接触豊富な手の動作追跡を安定化し、シミュレーションと実ロボットで精度を向上させた。
- 世界モデルにおける幻覚は予測可能であり、防止可能である世界モデル2026/6/1
生成的世界モデルが幻覚を起こす現象を、データカバレッジの観点から分析し、幻覚を検出するシグナルと、それを用いたデータ収集・ファインチューニング手法を提案した論文。
- TacO: 物体操作のための触覚センサのベンチマーク触覚2026/5/1
物体操作における4種類の触覚センサ（視覚、音響、磁気、抵抗）の性能を、3つの操作タスクで系統的に評価し、タスクに適したセンサ選択の枠組みを提案した論文。
- Lucid-XR: ロボット操作のための拡張現実データエンジンデータ生成/操作2026/5/1
XRヘッドセット上で動作する物理シミュレーションとビデオ生成を組み合わせ、多様な合成データを生成してロボットの視覚ポリシーを訓練し、実環境へのゼロショット転移を実現する。
- トレース条件付きVLA計画による長期的操作マニピュレーション2026/4/1
長期的な操作タスクを、タスク管理VLMが現在の観察から残りの計画を予測し、視覚的トレースを実行VLAに提供することで、短期的なVLA実行を長期的な指示追従に拡張するフレームワークを提案。
- 人間とロボットの共同操縦によるデータ効率的な模倣学習模倣学習2026/4/1
限られたデモデータでロボットの模倣学習を行う際、人間の介入を効率的に取り入れるフレームワークを提案し、少ないデモで高い性能を達成した。
- EgoVerse：世界各地から収集したロボット学習用の自己中心視点人間データセットデータセット/模倣学習2026/4/1
人間の自己中心視点のデモデータを大規模に収集・共有するプラットフォームとデータセットを構築し、人間データからロボットへの転移学習の大規模実験を行った。
- 視覚言語行動モデルのためのクロスハンド潜在表現VLA/器用操作2026/3/1
多様な器用なロボットハンド間で共有可能な統一潜在行動空間を導入し、標準的なVLAアーキテクチャに組み込むことで、クロスエンボディメント学習を可能にするXL-VLAを提案した。
- 接触を考慮したニューラルダイナミクスsim2real2026/1/1
シミュレータの力学を触覚接触情報で補正するニューラルダイナミクスモデルを学習し、接触を伴うタスクのsim-to-realギャップを縮小する手法を提案。
- Dextraの家：器用なハンドのためのクロスエンボディド共同設計マニピュレーション2025/12/1
タスクに特化したハンドの形態と制御方策を同時に学習する共同設計フレームワークを提案し、24時間以内に新しいロボットハンドを設計・訓練・製作・展開できることを示した。
- ACE-F: 力覚フィードバックを備えた異形態間対応の折りたたみ式巧みな遠隔操作システム遠隔操作2025/11/1
折りたたみ可能な遠隔操作システムACE-Fを提案し、逆運動学と人間-ロボットインターフェースで精密な操作を実現、エンドエフェクタの位置偏差を仮想力として力覚フィードバックを異形態ロボットに汎化した。
- In-N-On: 野生データとタスク特化データで自己中心視マニピュレーションをスケールアップマニピュレーション2025/11/1
自己中心視データを「野生のデータ」と「タスク特化データ」に分類し、1000時間超の多様なデータで言語条件付きフローマッチング方策Human0を学習。人間とヒューマノイドのギャップを埋め、指示追従や少数ショット学習、ロバスト性向上を実現した。
- パワーから精密へ：多指ロボットハンドのための微細な器用さの学習マニピュレーション2025/11/1
多指ハンドの指先形状を軽量に変更し、制御と形状を同時最適化することで、パワーグラスプと精密把持の両立を実現し、sim-to-realで高い成功率を示した。
- 大規模マルチタスク世界モデルによる連続制御の学習マルチタスク強化学習2025/11/1
200の多様なタスクで言語条件付き世界モデルを事前学習し、オンライン強化学習で微調整することで、マルチタスク性能とデータ効率を向上させた研究。
- HMC：接触の多い移動操作のための異種メタ制御の学習移動操作2025/11/1
位置・インピーダンス・力制御をトルク空間で統合する枠組みを提案し、実機ヒューマノイドで接触を伴う拭き掃除や引き出し開けの成功率を大幅に改善した。
- 報酬モデルを用いたソフトハンドの設計学習ソフトロボティクス/設計最適化2025/10/1
遠隔操作データから報酬モデルを学習し、腱駆動ソフトロボットハンドの設計を効率的に最適化するCEM-RMフレームワークを提案。シミュレーションと実機で把持成功率が向上。
- GSWorld：ロボットマニピュレーションのための閉ループ写実的シミュレーションスイートsim2real2025/10/1
3Dガウシアンスプラッティングと物理エンジンを組み合わせ、実機データからの方策評価やsim2real学習を閉ループで行える写実的マニピュレーションシミュレータを提案。
- VT-Refine: 視触覚フィードバックによる両手組立のシミュレーション微調整学習マニピュレーション2025/10/1
少数の実演と高忠実度の触覚シミュレーションを組み合わせ、強化学習で両手組立ポリシーを微調整することで、接触の多い精密作業の実世界性能を向上させた研究。
- ManiFlow：一貫性フロー学習による汎用ロボットマニピュレーションポリシーマニピュレーション2025/9/1
視覚・言語・固有感覚入力を条件に、一貫性フロー学習で1〜2ステップの高精度なロボット動作生成を実現する汎用模倣学習ポリシーを提案。
- 巧みな触覚による物体姿勢推定触覚2025/9/1
強化学習でロボットハンドを能動的に動かして触覚データを収集し、物体の形状と姿勢を反復的に推定する手法を提案。
- EgoVLA：自己中心視点の人間動画から視覚-言語-行動モデルを学習VLA2025/7/1
一人称視点の人間動画でVLAモデルを訓練し、逆運動学とリターゲティングで人間の手の動きをロボット動作に変換、少数のロボット実演で微調整してロボットポリシーを獲得する手法を提案。
- Dex1B: 10億件のデモンストレーションによる巧みな手の操作学習マニピュレーション2025/6/1
生成モデルを用いて把持と関節操作の10億件のデモンストレーションを生成し、シミュレーションと実機で従来手法を上回る性能を示した。
- GMT: ヒューマノイド全身制御のための汎用動作追従全身制御2025/6/1
多様な全身動作を実世界で追従できるよう、適応的サンプリングと動作Mixture-of-Expertsを組み合わせた単一の汎用方策を学習するフレームワークを提案。
- AMO: 超柔軟ヒューマノイド全身制御のための適応運動最適化全身制御2025/5/1
シミュレーションから実機への強化学習と軌道最適化を統合し、29自由度のヒューマノイドでリアルタイム全身制御を実現した研究。
- ニューラル物理モデルを用いたソフトグリッパのコデザインソフトロボティクス/グリッパ設計2025/5/1
シミュレーションで学習したニューラル物理モデルを最適化ループに組み込み、ソフトグリッパの剛性分布と把持姿勢を同時に設計する手法を提案し、3Dプリントした実機で有効性を示した。
- M3: 3D空間マルチモーダルメモリ3D表現/マルチモーダル2025/3/1
3Dガウシアンスプラッティングと基盤モデルを統合し、動画から静的な屋内シーンのマルチモーダルな特徴表現を効率的に保持・描画するメモリシステムを提案。四足歩行ロボットへの実装も行った。
- ヒューマノイド方策～ヒューマン方策VLA2025/3/1
一人称視点の人間の操作データをヒューマノイドロボットの学習に活用するため、人間とロボットの状態行動空間を統合したHuman Action Transformer (HAT)を提案し、汎化性能とロバスト性を向上させた。
- LMMプランナと3Dスキルポリシーの統合による汎用マニピュレーションマニピュレーション2025/1/1
大規模マルチモーダルモデルによる高レベル計画と3D特徴場を用いた低レベル制御を統合し、実環境のキッチンで長期的タスクの成功率を向上させたフレームワークLMM-3DPを提案。
- NaVILA: 脚式ロボットのための視覚-言語-行動モデルによるナビゲーションVLA2024/12/1
脚式ロボットの視覚言語ナビゲーションにおいて、VLAモデルで「75cm前進」のような中間行動を生成し、それを強化学習による歩行ポリシーで実行する2階層フレームワークを提案した論文。
- Mobile-TeleVision: 予測的動作プライアによるヒューマノイド全身制御全身制御2024/12/1
上半身の精密操作をIKと動作リターゲティングで、下半身の歩行を強化学習で分離制御し、CVAEによる予測的動作プライアで両者を統合したヒューマノイド遠隔操作手法を提案。
- ExBody2: 高度で表現豊かなヒューマノイド全身制御全身制御2024/12/1
人間のモーションキャプチャとシミュレーションデータで全身追従制御器を学習し、実機に転移することで、ヒューマノイドが歩行・しゃがみ・ダンスなどの表現豊かな動きを安定して行えるようにした研究。
- WildLMa: 実環境における長期的な移動マニピュレーション移動マニピュレーション2024/11/1
四足歩行ロボットにマニピュレータを搭載し、VR遠隔操作と模倣学習による汎用スキル、LLMプランナを組み合わせて、実世界での長期的な移動マニピュレーションを実現した研究。
- SPOT: 物体中心操作のためのSE(3)姿勢軌道拡散模倣学習2024/11/1
物体のSE(3)姿勢軌道をタスク表現として用い、拡散ポリシーを条件付ける物体中心模倣学習フレームワークを提案。iPhoneで撮影した8つの実演のみで実世界タスクを制約遵守しつつ完遂した。
- HOVER: ヒューマノイドのための汎用全身制御ニューラルコントローラヒューマノイド全身制御2024/10/1
全身の運動模倣を共通の抽象表現として活用し、ナビゲーションや卓上操作など複数の制御モードを単一の方策に蒸留統合したヒューマノイド全身コントローラを提案した。
- お手伝いわんちゃんボット：脚式ロボットと視覚言語モデルによるオープンワールド物体取得マニピュレーション2024/10/1
四足歩行ロボットにグリッパと視覚言語モデルを組み合わせ、未知の屋内環境で指示に従って物を取ってくるシステムを実現した。
- 脚による視覚マニピュレーションマニピュレーション2024/10/1
四足ロボットが脚を使って物体を操作できるシステムを開発し、強化学習による視覚操作方策と歩行・操作コントローラを組み合わせて、シミュレーションと実機で物体の姿勢合わせを実現した。
- GraspSplats: 3D特徴スプラッティングによる効率的なマニピュレーションマニピュレーション2024/9/1
ガウススプラッティングと深度教師あり学習を用いて60秒未満で高品質な3Dシーン表現を構築し、VLMと組み合わせてロボットのゼロショット把持や動的物体操作を実現する手法を提案。
- ACE：低コストな器用テレオペレーションのためのクロスプラットフォーム視覚外骨格システムテレオペレーション2024/8/1
手の3D姿勢をカメラと外骨格で捉え、人型ハンドやグリッパなど多様なロボットに汎用できる低コストなテレオペレーションシステムを開発した。
- ペンを回す学習から得られた教訓マニピュレーション2024/7/1
シミュレーションで強化学習と軌道データを生成し、実世界で微調整することで、ペンのような物体を手の中で回転させる技能を習得した研究。
- Open-TeleVision: 没入型アクティブ視覚フィードバックによる遠隔操作遠隔操作2024/7/1
操作者がロボットの周囲を立体的に知覚し、腕と手の動きがロボットに反映される没入型遠隔操作システムを提案し、2種類のヒューマノイドで模倣学習データを収集して実世界で検証した。
- 大規模ヒューマンデータを用いた自動運転レースのシミュレーションベンチマーク自動運転レース2024/7/1
Assetto Corsaをベースに自動運転レースアルゴリズムを評価するシミュレーションプラットフォームを構築し、強化学習やMPCのベンチマークと人間ドライバーのデータセットを公開した。
- Bunny-VisionPro：模倣学習のためのリアルタイム両手巧みな遠隔操作遠隔操作2024/7/1
VRヘッドセットと低コスト触覚フィードバックデバイスを用いて、両手巧みな遠隔操作をリアルタイムで実現し、模倣学習の性能を向上させるシステムを提案。
- 潜在空間アライメントによる異形態ロボットマニピュレーションスキルの転移マニピュレーション2024/6/1
異なる形態のロボット間で制御方策を転移するため、状態と行動を共通の潜在空間に射影し、敵対的学習とサイクル整合性でターゲットのエンコーダ・デコーダを訓練する手法を提案。sim-to-simおよびsim-to-realで有効性を実証。
- 階層型ワールドモデルによる視覚ベース全身ヒューマノイド制御全身制御2024/5/1
視覚観測から56自由度ヒューマノイドの全身制御を強化学習で実現するため、高レベルエージェントが視覚に基づきコマンドを生成し低レベルエージェントが実行する階層型ワールドモデルを提案した。
- 脚式ロコマニピュレーションのための視覚的全身体制御ロコマニピュレーション2024/3/1
脚とアームを同時に制御する全身体制御を視覚入力のみで行う階層型フレームワークを提案し、シミュレーションで訓練して実機に転移、多様な物体の把持を実現した。
- モバイルマニピュレーションのための汎化可能な特徴場の学習モバイルマニピュレーション2024/3/1
移動と操作の両方に使える統一的なシーン表現として、リアルタイムで動作する汎化可能なニューラル特徴場GeFFを提案し、四足歩行ロボットで物体・部位レベルの操作と意味認識ナビゲーションを実証した。
- DNAct: 拡散モデル誘導によるマルチタスク3Dポリシー学習マニピュレーション2024/3/1
ニューラルレンダリングによる事前学習と拡散モデルによる訓練を組み合わせ、言語条件付きマルチタスク操作ポリシーを少ない実演から学習する手法を提案。
- 触覚強化学習による未知物体のSim2Realマニピュレーションsim2real2024/3/1
多様な物体をシミュレータ上で触覚入力を用いた強化学習により訓練し、未知物体への汎化と実機転移を実現する手法を提案。
- ヒューマノイドロボットのための表現豊かな全身制御全身制御2024/2/1
人間のモーションキャプチャデータを強化学習で模倣し、上半身は参照動作を再現しつつ下半身は速度追従に緩和することで、実機ヒューマノイドに多様で表現豊かな全身動作を実現した。
- CyberDemo: シミュレーション上の人間デモンストレーションを拡張する実世界巧みな操作sim2real2024/2/1
シミュレーション内で人間のデモンストレーションを大規模にデータ拡張し、実世界の巧みな操作タスクへ転移する模倣学習手法を提案。未見の物体にも汎化し、実世界のデモより高い成功率を示した。
- DexTouch: 触覚で物体を探り操作する器用なマニピュレーション触覚2024/1/1
視覚に頼らず触覚のみで暗所のランダムな物体を探索・操作する多指ロボットシステムを提案し、シミュレーションでの強化学習を実機に転移して触覚の重要性を示した。
- 調和型モバイルマニピュレーションモバイルマニピュレーション2023/12/1
移動と操作を分けずにエンドツーエンドで学習し、ドア開けなど協調動作が必要な家庭タスクを実環境で実現する手法を提案。
- ロボット共感覚：視触覚センシングによるハンド内マニピュレーションマニピュレーション2023/12/1
視覚と触覚を統合した点群ベースの触覚表現「Robot Synesthesia」を提案し、シミュレーションで学習して実機に転移することで、様々なハンド内物体回転タスクを実現した。
- 基盤モデルによる汎用ロボットの実現に向けて：サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- TD-MPC2：連続制御のためのスケーラブルで堅牢な世界モデルモデルベース強化学習2023/10/1
学習した潜在世界モデル上で軌道最適化を行うモデルベース強化学習TD-MPCを改良し、104タスクで高性能かつ単一のハイパーパラメータで動作、317Mパラメータの単一エージェントで80タスクをこなせることを示した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- GenSim: 大規模言語モデルによるロボットシミュレーションタスクの生成sim2real2023/10/1
大規模言語モデルを活用して、ロボットシミュレーションの多様なタスクと専門家デモを自動生成する手法を提案し、タスクレベルの汎化性能を大幅に向上させた。
- 実世界でのオフライン世界モデルのファインチューニング世界モデル2023/10/1
実機で収集したオフラインデータで世界モデルを事前学習し、モデルベース計画で得たオンラインデータでファインチューニングする手法を提案。計画時に不確実性を考慮することで外挿誤差を抑え、限られたデータでも新規タスクへ少ない試行で適応できることを示した。
- 汎用動物模倣器：多様な運動事前分布による俊敏な移動歩行2023/10/1
動物の運動を模倣しつつ手動設計の運動も取り入れた強化学習フレームワークVIMを提案し、脚式ロボットが単一の制御器で走る・曲がる・跳ぶ・バク宙など多様な俊敏移動スキルを実世界で同時に学習できるようにした。
- ダイナミックハンドオーバー：双腕ハンドによる投擲と捕球マニピュレーション2023/9/1
双腕マルチフィンガーハンドで物体を高速に投げて受け渡す動作を、マルチエージェント強化学習とSim2Real転移で実現した。
- GNFactor: 汎化可能なニューラル特徴場によるマルチタスク実ロボット学習模倣学習2023/8/1
視覚言語基盤モデルで意味情報を蒸留した汎化可能なニューラル特徴場とPerceiver Transformerを共有3Dボクセル表現で統合し、多様な実ロボット操作タスクを模倣学習で実行する手法を提案。
- 弾力的な意思決定トランスフォーマー強化学習2023/7/5
テスト時に履歴長を調整することで軌道の縫合を可能にし、Decision Transformerの性能を向上させる手法を提案。
- AnyTeleop：汎用視覚ベースの器用なロボットアーム・ハンド遠隔操作システム遠隔操作2023/7/1
様々なロボットアームやハンド、シミュレータ、実機、カメラ構成に対応する汎用的な視覚ベース遠隔操作システムを提案し、特定ハードウェア向けの従来システムを上回る性能を示した。
- ContactArt: カテゴリーレベルの関節物体と手の姿勢推定のための3Dインタラクションプライアの学習姿勢推定2023/5/1
視覚的テレオペレーションで収集したデータセットと、関節物体と手の姿勢推定のための3Dインタラクションプライア（GANと拡散モデル）を学習する手法を提案し、実世界データへの転移で性能を大幅に改善した。
- DexArt: 関節物体を用いた汎化可能な巧みな操作のベンチマークマニピュレーション2023/5/1
多指ロボットハンドで多様な関節物体を操作するベンチマークDexArtを提案し、3D表現学習と強化学習を組み合わせて未知物体への汎化性能を評価した。
- 視覚移動制御のためのニューラルボリュメトリックメモリ歩行2023/4/1
単眼深度カメラを用いた脚式ロボットの不整地移動において、3D世界のSE(3)同変性を考慮した幾何学的メモリを導入し、過去の観測から足元の地形を推定する手法を提案した。
- 見ずに回す：触覚によるハンド内巧みさ触覚2023/3/1
手全体に配置した低コストな二値触覚センサのみを用い、視覚なしで未知物体をハンド内で回転させる強化学習システムを提案。
- MoDem: デモンストレーションによる視覚モデルベース強化学習の加速モデルベースRL2022/12/1
少数のデモンストレーションを活用し、方策事前学習・標的探索・デモデータのオーバーサンプリングの3段階でモデルベース強化学習のサンプル効率を大幅に改善する手法を提案。
- 視覚運動制御における事前学習の再検討：スクラッチ学習ベースラインの再評価視覚運動制御2022/12/1
視覚運動制御タスクにおいて、データ拡張と浅いConvNetを用いた単純なスクラッチ学習ベースラインが、大規模視覚データセットで事前学習した表現を用いる最近の手法（PVR, MVP, R3M）と競合することを示し、事前学習データとベンチマーク間のドメインギャップの影響を明らかにした。
- 基盤モデルのフィードバックによる方策適応VLA2022/12/1
訓練済み方策を新しいタスクや環境に展開する際、ランダムな指示で収集したデモを基盤モデルのフィードバックで再ラベリングし、自動的に微調整データを作る手法PAFFを提案。未知物体・タスク・環境やsim-to-realで大幅に性能を改善した。
- DexPoint: 実世界の新しい物体に汎化する点群強化学習による巧みな操作マニピュレーション2022/11/1
点群入力と巧みなハンドで操作方策を訓練し、想像上の手の点群と接触ベースの報酬で複数物体への学習とsim-to-real汎化を実現した。
- 実世界におけるカテゴリレベル6D物体姿勢推定のための自己教師あり幾何学的対応学習6D姿勢推定2022/10/1
大規模な実世界の物体動画から自己教師あり学習を行い、カテゴリレベルの6D姿勢推定を実現する手法を提案。人間のアノテーションやシミュレータなしで、従来の教師あり・半教師あり手法と同等以上の性能を達成した。
- 自己教師あり3D表現による視覚強化学習VLA2022/10/1
大規模データで3Dボクセルオートエンコーダを事前学習し、強化学習と共に微調整することで、サンプル効率と実機ゼロショット転移を改善する枠組みを提案した。
- MonoNeRF: カメラ姿勢なしの単眼動画から汎化可能なNeRFを学習NeRF/新視点合成2022/10/1
深度やカメラ姿勢の正解なしに単眼動画から学習できる汎化可能なNeRFを提案し、深度推定・カメラ姿勢推定・単一画像からの新視点合成を実現した。
- 人間の実演から連続的把持動作関数を学習する多指ハンドマニピュレーション2022/7/1
人間の物体操作軌道をロボットに再ターゲットし、条件付きVAEで連続時間の把持計画を生成するモデルCGFを学習、実機のAllegro Handで成功率を大きく改善した。
- 多様な動画からのグラフ逆強化学習逆強化学習2022/7/1
多様な第三者視点動画から報酬関数を学習するため、動画をエンティティ間の相互作用グラフとして抽象化し、時間的マッチングでタスク進捗を測るGraphIRLを提案。実機マニピュレーションで手設計報酬を上回る性能を示した。
- 実環境におけるカテゴリレベル6D物体姿勢推定：半教師あり学習アプローチと新データセット6D姿勢推定2022/6/1
多様な実環境RGBD動画データセットWild6Dを構築し、合成データと実データのシルエットマッチングを組み合わせた半教師あり学習モデルRePoNetを提案。実データの3Dアノテーションなしでカテゴリレベル6D姿勢推定を実現した。
- トポロジー推論による混雑緩和のための非協調マルチロボット経路計画群制御2022/5/1
通信や協調ができない環境で、ロボットにトポロジー的に異なる経路を確率的に割り当てることで混雑を減らす経路計画手法を提案した。
- 片手から多指ハンドへ：単一カメラ遠隔操作による器用な操作の模倣学習模倣学習/遠隔操作2022/4/1
iPadとPCだけの単一カメラ遠隔操作で3D実演データを収集し、ユーザーごとにカスタマイズしたシミュレータ上のロボットハンドで多指ハンド操作の模倣学習を行い、実機への転移性能を大幅に向上させた。
- 人間の把持アフォーダンスから汎化可能な器用把持操作を学習するマニピュレーション2022/4/1
人間の把持アフォーダンスモデルから多様な3D物体の大規模デモを生成し、模倣学習と幾何表現学習を組み合わせて、同カテゴリの新規物体へ汎化する多指ハンド操作方策を学習した。
- 時差学習によるモデル予測制御モデルベース強化学習2022/3/1
短期間の軌道最適化に学習済み潜在ダイナミクスモデルを、長期リターン推定に学習済み終端価値関数を用い、両者を時差学習で同時に学習するTD-MPCを提案。連続制御タスクで高いサンプル効率と性能を達成。
- もっとよく見る：Transformerで一人称視点と三人称視点を統合するロボットマニピュレーションマニピュレーション2022/1/1
三人称カメラと手首搭載の一人称カメラの映像をクロスビュー注意機構付きTransformerで融合し、強化学習による精密マニピュレーションの性能を向上させた研究。
- マルチモーダル遅延ランダム化による視覚誘導四足歩行の実環境展開歩行2021/9/1
視覚と固有感覚の遅延をランダム化してRLを訓練し、A1四足ロボットを実世界の複雑地形で滑らかに走行・障害物回避させることに成功した。
- DexMV: 人間の動画から器用な操作を模倣学習する模倣学習2021/8/1
多指ロボットハンドの複雑な操作タスクを対象に、人間の手の動画から3D姿勢を抽出してロボットのデモンストレーションへ変換するパイプラインを構築し、模倣学習の有効性を示した研究。
- クロスモーダルTransformerによる視覚誘導型四足歩行のエンドツーエンド学習歩行2021/7/1
固有感覚と深度画像をTransformerで統合し、障害物や不整地を先読みして歩行する四足ロボットの強化学習手法を提案。シミュレーションから実機へ転移し、未知環境での汎化性能を大幅に向上させた。
- データ拡張下での深層Q学習の安定化：ConvNetとVision Transformer強化学習2021/7/1
データ拡張を用いたオフポリシー強化学習の不安定性が高分散なQターゲットに起因することを特定し、それを安定化する簡便な手法を提案。画像ベースRLのサンプル効率と汎化性能をConvNetとViTの両方で向上させた。
- 単一RGB-Dカメラによる汎用ロボットマニピュレーションの遠隔操作遠隔操作2021/6/1
1台のRGB-Dカメラで人間の動きを捉え、布畳みやハンマー作業、3mmクリアランスのペグ挿しなど汎用作業を遠隔操作できるシステムを提案した論文。
- 分離注意による本質的正則化で安全かつ効率的な両腕マニピュレーション両腕マニピュレーション2021/6/1
2台のロボットが協調して疎な報酬の両腕操作タスクを解く際、片方のロボットが独占したり衝突したりする問題を、分離注意による本質的正則化で解決し、より安全で効率的な協調戦略を実現した。
- ダイナミクス・サイクル整合性によるドメイン間対応の学習sim2real2020/12/1
非ペアのデータからダイナミクス・サイクル整合性を用いて異なるドメイン間の対応を学習し、追加のファインチューニングなしでポリシーを転移できる手法を提案した。
- 記述子不要の高速ORB-SLAMSLAM2020/8/1
キーフレーム以外では特徴記述子を計算せず、疎なオプティカルフローによる2段階の対応付けで隣接フレーム間のキーポイントを追跡し、ORB-SLAM2の約2倍高速で同等以上の精度を実現したRGB-D SLAM手法。
- 展開後の自己教師ありポリシー適応sim2real2020/7/1
報酬なしで展開後も自己教師あり学習によりポリシーを適応させ、未知の環境変化への汎化性能を向上させる手法を提案。
- 状態のみの模倣学習による巧みな操作模倣学習2020/4/1
逆動力学モデルをポリシーと同時に学習し、行動ラベルなしの状態のみのデモンストレーションから巧みな操作を模倣できるようにした。
- ソフトモジュール化によるマルチタスク強化学習マニピュレーション2020/3/1
ポリシーをモジュール化し、タスクごとにルーティングネットワークで柔軟に組み合わせることで、複数のロボット操作タスクを効率的に学習する手法を提案した。
- 進化的集団カリキュラムによるマルチエージェント強化学習のスケーリングマルチエージェント強化学習2020/3/1
エージェント数を段階的に増やすカリキュラム学習と進化的手法を組み合わせ、大規模マルチエージェント強化学習の学習を安定化・高性能化した研究。
- シーンプライアを用いた視覚意味ナビゲーション視覚ナビゲーション2018/10/1
物体間の意味的・機能的な関係を知識グラフとして取り込み、グラフ畳み込みネットワークと深層強化学習を組み合わせて、未知のシーンでも目的物体へ効率的にナビゲーションする手法を提案した。
