Linxi Fan
NVIDIA
収録論文 31本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- VABAR：エージェント型ロボティクスのための変動自動化ベンチマークベンチマーク2026/11/4
産業・医療・インフラ向けの6種のマニピュレーションタスクを対象に、エージェント型ロボティクスを体系的に評価するオープンなシミュレーションベンチマークVABARを提案し、33の汎用スキルと基準解を整備した。
- Long-WAM: 世界行動モデルのコンテキスト拡張VLA2026/10/7
因果的世界行動モデルのコンテキストを拡張し、自己回帰的事前学習とストリーミング符号化によりリアルタイム制御を実現したフレームワーク。
- Recova: 自律ロボットマニピュレーションのためのエージェント誘導型失敗回復マニピュレーション2026/10/1
デジタルツイン上でエージェントが失敗を診断し回復行動を学習、実機での検証と人間デモを組み合わせて回復能力を拡張する枠組みを提案し、成功率と人間介入の削減を実証した。
- 人間のデモから接触力ガイダンスを用いた器用操作の学習器用操作2026/7/1
人間のデモから物体に加わる力・トルク空間でガイダンスを作り、強化学習で長期的な器用操作を学習するフレームワークCHORDを提案。大規模ベンチマークで高い成功率を示し、実世界にも転移可能。
- GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成ロコ操作2026/6/1
物理環境や遠隔操作を必要とせず、3Dアセットとビデオ基盤モデルの事前知識を用いて、人型ロボットの全身操作デモを仮想的に生成するパイプラインを提案した。
- T-Rex: 触覚反応型巧みな操作触覚/操作2026/6/1
触覚信号に動的に反応する操作を実現するため、大規模な触覚データセットと可変レートのMixture-of-Transformersアーキテクチャを導入し、12の操作タスクで成功率を大幅に向上させた。
- SimFoundry: ポリシー学習と評価のためのモジュール式自動シーン生成sim2real2026/6/1
実世界のビデオからシミュレーション用のシーンを自動生成し、多様なバリエーションを作成してロボットポリシーの訓練と評価を行うシステムを提案。シミュレーションでの評価が実世界性能を強く予測し、訓練時のバリエーション追加が成功率を向上させることを示した。
- HumanoidMimicGen: 全身計画による移動操作のためのデータ生成データ生成/移動操作2026/5/1
ヒューマノイドの移動と操作を模倣学習で訓練するためのデータを自動生成する手法を提案。少数の実演から全身スキルを適応させ、多様なシーンで安定したデータを生成し、実データのみで訓練した場合より20%性能が向上した。
- EgoScale：多様な一人称視点ヒューマンデータによる器用なマニピュレーションのスケーリングマニピュレーション2026/2/1
2万時間超の一人称視点ヒューマン動画でVLAモデルを事前学習し、人間データ量と検証損失の対数線形則を発見。軽量な人間-ロボット中間学習により、22自由度ハンドの器用な操作成功率を54%向上させた。
- VIRAL: ヒューマノイドの移動操作に向けた大規模視覚Sim-to-Realsim2real2025/11/1
シミュレーションのみでヒューマノイドの移動を伴う操作スキルを学習し、実機にゼロショット転移する視覚ベースのフレームワークを提案。大規模ドメインランダム化と実機整合により、Unitree G1上で連続的な移動操作を実現した。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- 視覚強化学習から創発するシミュレーション人型ロボットの能動的知覚と器用さVLA2025/5/1
自己中心視覚のみを入力とする強化学習フレームワークPDCを提案し、シミュレーション人型ロボットが物体探索・把持・配置・関節物体操作などの家事タスクを単一ポリシーで遂行できることを示した。
- DreamGen：動画世界モデルでロボット学習の汎化を解き放つVLA2025/5/1
画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。
- SCIZOR: 大規模模倣学習のための自己教師ありデータキュレーション模倣学習2025/5/1
模倣学習データから低品質な状態行動ペアを自己教師ありで除去し、少ないデータで性能を平均15.4%向上させる手法を提案。
- DexUMI：人間の手を汎用マニピュレーションインターフェースとして使う巧みな操作マニピュレーション2025/5/1
人間の手の動きをウェアラブル外骨格と映像インペインティングでロボットハンドに転移し、巧みな操作スキルを学習させるデータ収集・方策学習フレームワークを提案。
- FLARE: 暗黙的世界モデリングによるロボット学習VLA2025/5/1
将来の観測の潜在表現を予測する世界モデリングを拡散トランスフォーマーポリシーに組み込み、模倣学習の性能と汎化を大幅に向上させた手法。
- シミュレーションと実世界の共訓練：視覚ベースロボットマニピュレーションのための簡単なレシピマニピュレーション2025/3/1
シミュレーションと実世界のデータを混合して方策を共訓練する簡単な手法を提案し、ロボットアームとヒューマノイドの多様なタスクで実世界性能を平均38%向上させた。
- ヒューマノイドの視覚ベース巧みな操作のためのSim-to-Real強化学習sim2real2025/2/1
ヒューマノイドロボットの視覚ベース両手巧みな操作を実現するSim-to-Real強化学習の実践的レシピを提案し、把持・持ち上げ・受け渡しタスクで高い成功率を示した。
- ワンステップ拡散方策：拡散蒸留による高速視覚運動方策VLA2024/10/1
事前学習済み拡散方策を蒸留して1ステップで行動を生成する手法を提案し、推論速度を1.5Hzから62Hzへと大幅に高速化した。
- DexMimicGen：両腕巧みな操作のための模倣学習による自動データ生成マニピュレーション2024/10/1
少数の人間デモからヒューマノイドロボットの両腕巧みな操作の軌道を自動生成するシステムを提案し、60のデモから21Kのデモを生成して実機タスクに展開した。
- HOVER: ヒューマノイドのための汎用全身制御ニューラルコントローラヒューマノイド全身制御2024/10/1
全身の運動模倣を共通の抽象表現として活用し、ナビゲーションや卓上操作など複数の制御モードを単一の方策に蒸留統合したヒューマノイド全身コントローラを提案した。
- DrEureka: 言語モデルが導くSim-to-Real転送sim2real2024/6/1
大規模言語モデルを活用し、報酬関数とドメインランダム化を自動設計することで、四足歩行や器用な操作のシミュレーションから実機への転送を人手を介さず実現した研究。
- ARDuP: 汎用ポリシーのためのアクティブ領域動画拡散VLA2024/6/1
動画生成ベースのポリシー学習において、動きの手がかりから自動的に「アクティブ領域」を抽出し、その領域に注目して拡散モデルで計画・行動生成する手法を提案。シミュレータと実世界データで成功率を改善。
- Eureka: コーディングLLMによる人間レベルの報酬設計強化学習2023/10/1
GPT-4などのLLMを活用して報酬関数を自動生成・進化させ、強化学習で複雑なロボット操作タスクを人間専門家を超える性能で学習させる手法を提案。
- MimicGen：人間のデモンストレーションからスケーラブルなロボット学習を実現するデータ生成システム模倣学習2023/10/1
少数の人間デモを新しい状況に適応させて大規模データセットを自動生成し、模倣学習によるロボットの長期的・高精度タスクの性能を向上させるシステムを提案。
- MimicPlay：人間の遊びデータを活用した長期ホライズン模倣学習模倣学習2023/2/1
人間の自由な手遊び動画から潜在的な行動計画を学習し、少数の遠隔操作デモと組み合わせることで、ロボットの長期的なマニピュレーションタスクの模倣学習を効率化する階層的フレームワークを提案。
- VIMA: マルチモーダルプロンプトによる汎用ロボットマニピュレーションマニピュレーション2022/10/1
テキストと画像を組み合わせたマルチモーダルプロンプトで多様なロボット操作タスクを指示し、自己回帰的に動作を生成するTransformerエージェントVIMAを提案。新ベンチマークで高いゼロショット汎化性能とデータ効率を示した。
- MetaMorph：Transformerで学ぶ万能コントローラロボット制御/Transformer2022/3/1
モジュール式ロボットの形状をTransformerへの入力条件として扱い、多様な形状で大規模事前学習することで未知の形状にもゼロショットで適応できる万能コントローラを実現した研究。
- SECANT: 視覚ポリシーのゼロショット汎化のための自己エキスパートクローニング視覚RL/汎化2021/6/1
弱い画像拡張でRLによりエキスパートを訓練し、強い拡張で生徒ネットワークが模倣学習することで、未知の視覚環境へのゼロショット汎化を実現した手法。
- iGibson 1.0：大規模リアルシーンでのインタラクティブタスク向けシミュレーション環境シミュレーション環境2020/12/1
実世界の家庭を再現した15のインタラクティブなシーンと多様なセンサ信号・ドメインランダム化・動作計画・人間デモ収集機能を備えたロボット学習用シミュレータを公開した論文。
- SURREAL-System：分散深層強化学習のための完全統合スタック分散強化学習2019/9/1
ハードウェア抽象化からアルゴリズムまで4層で構成され、ラップトップからクラウドまでスケール可能な分散強化学習フレームワークを提案し、PPOやESを数千コア・数百GPUに拡張してGymとRoboticsで最先端性能を達成した。
