Yuke Zhu
NVIDIA
収録論文 140本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 実世界デビュー前の統一試験：コーディングエージェントによるロボット制御ベンチマークベンチマーク/エージェント2026/11/9
コーディングエージェントが多様なロボットを物理制約下で制御できるかを評価するため、47体のロボット・35スイート・1,156タスクからなる統一ベンチマーク「Embodied First Exam」を提案した。
- VABAR：エージェント型ロボティクスのための変動自動化ベンチマークベンチマーク2026/11/4
産業・医療・インフラ向けの6種のマニピュレーションタスクを対象に、エージェント型ロボティクスを体系的に評価するオープンなシミュレーションベンチマークVABARを提案し、33の汎用スキルと基準解を整備した。
- ScheduleGen: スキルスケジューリングによるマルチアーム模倣学習のためのデモンストレーション生成マニピュレーション2026/10/29
マルチアーム制約を考慮した計画・スケジューリング統合アルゴリズムで、少数のデモから安全で成功する新規デモを自動生成し、模倣学習ポリシーの訓練を効率化する。
- FLORA: ロボティクスデータエンジンをスケールさせるオープンモデルスイートデータエンジン2026/10/22
GR00Tモデル訓練向けの産業品質データエンジンFloraを公開。キャプション生成や報酬ラベリングでSOTAを達成し、API比で約125倍安価に大規模データ処理を実現する。
- エージェント型ワールドアクションモデルVLA2026/10/21
コードによる計画と動画・行動の同時予測を統合したAW-0を提案し、スキルを再利用可能なプログラムとして扱うことでロボット操作の性能と汎化性を向上させた。
- Robota-Embed：ロボットの文脈内学習と進化のための統合VLA埋め込みVLA2026/10/14
視覚・言語・行動を統合して現在の状態と将来の継続を同時に埋め込むVLA埋め込みモデルを提案し、検索による文脈利用でロボットの成功率を向上させた。
- WorldOracle: 実世界実行と比較する行動条件付き世界モデルのベンチマーク世界モデル2026/10/13
同じ初期観測と行動列に対し、行動条件付き世界モデルの予測が実世界の物理的結果やタスク状態遷移を再現できるかを評価するベンチマークを提案。
- Recova: 自律ロボットマニピュレーションのためのエージェント誘導型失敗回復マニピュレーション2026/10/1
デジタルツイン上でエージェントが失敗を診断し回復行動を学習、実機での検証と人間デモを組み合わせて回復能力を拡張する枠組みを提案し、成功率と人間介入の削減を実証した。
- ASENA: 自己進化型エージェントによる身体性ナビゲーションナビゲーション2026/9/30
コーディングエージェントがプログラムを書いて実行・修正・経験を蓄積しながらロボットをナビゲーションさせるシステムを提案し、4Bの単眼ナビゲーション方策と組み合わせてR2RやRxRで高性能を達成した。
- ASPIRE: ロボットのためのエージェント的スキル発見スキル発見/継続学習2026/7/1
ロボット制御プログラムを自律的に作成・改善し、再利用可能なスキルライブラリを構築する継続学習システムASPIREを提案。シミュレーションと実世界で高い性能とゼロショット汎化を示した。
- Bスプライン方策：Bスプライン行動表現による操作方策の高速化マニピュレーション2026/7/1
離散時刻の行動チャンクの代わりにBスプライン曲線で行動を表現し、操作方策の実行を高速化する手法を提案した論文。
- エピソード評価を超えて：連続的身体化質問応答における記憶アーキテクチャのボトルネック身体化AI/記憶アーキテクチャ2026/7/1
身体化質問応答（EQA）を連続的に評価した際、既存の記憶保持だけでは不十分で、視覚的意味情報を保持する構造化された空間的記憶（3D幾何学に基づく）が必要であることを示した論文。
- GaP: 変動的オートメーションタスクのためのグラフとしてのポリシーを用いたマルチエージェント自己学習ハーネスタスク計画2026/7/1
ロボットの信頼性を高めるため、エージェント型コーディングと解釈可能なロボットプログラミングを組み合わせ、タスクをグラフ構造で表現して自己学習する手法を提案した。
- 人間のデモから接触力ガイダンスを用いた器用操作の学習器用操作2026/7/1
人間のデモから物体に加わる力・トルク空間でガイダンスを作り、強化学習で長期的な器用操作を学習するフレームワークCHORDを提案。大規模ベンチマークで高い成功率を示し、実世界にも転移可能。
- RoboTTT: ロボットポリシーのためのコンテキストスケーリングVLA2026/7/1
ロボットポリシーの視覚運動コンテキストを8Kタイムステップまで拡張し、推論遅延を増やさずに、人間のビデオからのワンショット模倣や長期的タスクの性能向上を実現する手法を提案。
- 視覚運動制御のための対比的行動-画像事前学習視覚エンコーダ/事前学習/模倣学習2026/6/15
大規模な人間の第一人称ビデオから手のキーポイントを行動の代理として抽出し、対比学習でロボットの視覚エンコーダを事前学習する手法を提案。実機の器用操作タスクで既存手法を30%以上上回る性能を達成した。
- 視覚運動ポリシーの短期記憶を拡張し長期的タスクを実現模倣学習2026/6/1
本論文は、模倣学習による視覚運動ポリシーに短期記憶を効果的に組み込むためのアーキテクチャPRISMを提案し、新しいベンチマークReMemBenchで評価した。
- Vesta: 汎用身体化推論モデルVLA2026/6/1
ロボットのための単一の基盤モデルで、位置推定・空間推論・ナビゲーション・長期計画を統合し、専門モデル群を上回る性能を示した。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- 長期的ロボット制御のための視覚運動ポリシーにおける記憶検索VLA2026/6/1
部分観測環境での長期タスクを可能にするため、注意機構を用いた記憶検索を備えた視覚運動ポリシーHALOを提案。VLMの事前知識を活用して誤相関を抑え、記憶誤差の蓄積を軽減する。
- GRAIL: 3Dアセットとビデオ事前知識から人型ロコ操作を生成ロコ操作2026/6/1
物理環境や遠隔操作を必要とせず、3Dアセットとビデオ基盤モデルの事前知識を用いて、人型ロボットの全身操作デモを仮想的に生成するパイプラインを提案した。
- T-Rex: 触覚反応型巧みな操作触覚/操作2026/6/1
触覚信号に動的に反応する操作を実現するため、大規模な触覚データセットと可変レートのMixture-of-Transformersアーキテクチャを導入し、12の操作タスクで成功率を大幅に向上させた。
- SimFoundry: ポリシー学習と評価のためのモジュール式自動シーン生成sim2real2026/6/1
実世界のビデオからシミュレーション用のシーンを自動生成し、多様なバリエーションを作成してロボットポリシーの訓練と評価を行うシステムを提案。シミュレーションでの評価が実世界性能を強く予測し、訓練時のバリエーション追加が成功率を向上させることを示した。
- HumanoidMimicGen: 全身計画による移動操作のためのデータ生成データ生成/移動操作2026/5/1
ヒューマノイドの移動と操作を模倣学習で訓練するためのデータを自動生成する手法を提案。少数の実演から全身スキルを適応させ、多様なシーンで安定したデータを生成し、実データのみで訓練した場合より20%性能が向上した。
- MotionBricks: モジュール型潜在生成モデルとスマートプリミティブによるスケーラブルなリアルタイムモーション生成モーション生成2026/4/1
大規模なモーション生成をリアルタイムで行うためのフレームワークを提案し、35万以上のモーションクリップを単一モデルで扱い、速度指令やスタイル選択などの細かい制御を可能にするスマートプリミティブを導入した。
- 生成ロボットポリシーにおけるシミュレーションと実機の共学習のメカニズム解析ロボット学習2026/4/1
シミュレーションと実機データを組み合わせた共学習が有効に機能するメカニズムを理論と実験で解析し、性能を左右する2つの効果（構造的表現アライメントと重要度再重み付け）を特定した。
- CaP-X: ロボットマニピュレーションのためのコーディングエージェントのベンチマークと改善フレームワークマニピュレーション2026/3/1
コードを方策として使うエージェントを体系的に評価する環境CaP-GymとベンチマークCaP-Benchを構築し、テスト時計算の拡張で人間レベルの信頼性を達成する手法を提案した。
- RoboCasa365：汎用ロボットの訓練とベンチマークのための大規模シミュレーションフレームワークシミュレーション/ベンチマーク2026/3/1
家庭用移動操作ロボットの大規模ベンチマークRoboCasa365を提案し、365の日常タスクと多様な環境、大量のデモデータを用いて汎用ポリシーの評価と分析を行った。
- ManipulationNet：物理的スキル課題と身体化マルチモーダル推論を備えた実世界ロボット操作のベンチマーク基盤ベンチマーク2026/3/1
実世界のロボット操作タスクを標準化されたハードウェアキットと統一ソフトウェアクライアントで提供し、物理スキルと身体化推論の2トラックで評価する持続可能なベンチマーク基盤を提案した。
- 事前学習済みVLAモデルは継続学習において驚くほど忘却しにくいVLA2026/3/1
大規模な視覚-言語-行動モデルは、小さなリプレイバッファでも継続学習時にほとんど忘却せず、事前学習が忘却耐性に大きく寄与することを示した研究。
- SoftMimicGen: 変形物体操作のためのスケーラブルなロボット学習データ生成システムデータ生成/変形物体操作2026/3/1
変形物体操作タスク向けに、高忠実度シミュレーション環境と自動データ生成パイプラインを構築し、生成データで高性能なポリシーを学習できることを示した論文。
- DreamDojo: 大規模人間動画から学ぶ汎用ロボット世界モデル世界モデル2026/2/1
44,000時間の一人称視点人間動画から汎用的なロボット世界モデルを学習し、連続潜在行動を代理ラベルとして活用することで、巧みな操作の物理理解と精密な行動制御を実現した研究。
- 世界行動モデルはゼロショット方策であるVLA2026/2/1
動画拡散モデルを基盤に未来の世界状態と行動を予測するWorld Action Model「DreamZero」を提案し、実機でVLAを上回る汎化性能と7Hzのリアルタイム閉ループ制御を実現した。
- EgoScale：多様な一人称視点ヒューマンデータによる器用なマニピュレーションのスケーリングマニピュレーション2026/2/1
2万時間超の一人称視点ヒューマン動画でVLAモデルを事前学習し、人間データ量と検証損失の対数線形則を発見。軽量な人間-ロボット中間学習により、22自由度ハンドの器用な操作成功率を54%向上させた。
- ヒューマノイドのピクセル入力から行動へのポリシー転移におけるSim-to-Realの扉を開くsim2real2025/12/1
GPU加速のフォトリアルシミュレーションと教示者-生徒-ブートストラップ学習を用い、RGB画像のみからヒューマノイドが多様な扉を開けるロコマニピュレーションポリシーをシミュレーションだけで学習し、実機でゼロショット転移を実現した。
- CHIP: 後知恵摂動によるヒューマノイドの適応的コンプライアンス制御マニピュレーション2025/12/1
後知恵摂動を用いて、動的動作の追従性を保ちながらエンドエフェクタの硬さを調整可能にするプラグアンドプレイモジュールCHIPを提案し、力強いマニピュレーションタスクを実現した。
- 残差強化学習によるデータ生成で自己改善する視覚言語行動モデルVLA2025/11/1
VLAモデルの失敗領域を残差RLで探索し、展開分布に沿った軌道を収集・蒸留することで、追加の人間デモなしに性能を自己改善させるフレームワークPLDを提案。
- VIRAL: ヒューマノイドの移動操作に向けた大規模視覚Sim-to-Realsim2real2025/11/1
シミュレーションのみでヒューマノイドの移動を伴う操作スキルを学習し、実機にゼロショット転移する視覚ベースのフレームワークを提案。大規模ドメインランダム化と実機整合により、Unitree G1上で連続的な移動操作を実現した。
- SONIC: 自然なヒューマノイド全身制御のための運動追跡の超大規模化ヒューマノイド制御2025/11/1
運動追跡をスケーラブルなタスクと位置づけ、モデル容量・データ・計算量を大規模化することで、自然で堅牢な全身運動が可能な汎用ヒューマノイド制御器を構築した研究。
- Isaac Lab：マルチモーダルロボット学習のためのGPU加速シミュレーションフレームワークsim2real2025/11/1
GPU並列物理演算とフォトリアル描画を統合し、強化学習・模倣学習を大規模に実行できるロボット学習用シミュレーションプラットフォームを提案。
- LLM-GROP: 大規模言語モデルによる視覚に基づくロボットのタスク・動作計画タスク・動作計画2025/11/1
大規模言語モデルの常識知識と視覚情報を活用し、複数物体の移動を伴うモバイルマニピュレーションのタスク・動作計画を統合するフレームワークを提案。実環境とシミュレーションで成功率と効率を評価した。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- ロボティクス向けVision-Language-Actionモデル：実世界応用に向けたレビューVLA2025/10/1
視覚・言語・行動を統合するVLAモデルについて、アーキテクチャや学習手法からロボットプラットフォーム、データセット、評価ベンチマークまでを網羅的に整理したサーベイ論文。
- DEAS: 行動系列を用いた分離価値学習によるスケーラブルなオフライン強化学習オフライン強化学習2025/10/1
行動系列を価値学習に活用し、価値の過大評価を分離学習で抑えることで、長期的タスクのオフライン強化学習や大規模VLAモデルの性能を向上させる手法を提案。
- MimicDroid: 人間の遊び動画からの文脈内学習によるヒューマノイドロボット操作VLA2025/9/1
人間の遊び動画のみを訓練データとして、ヒューマノイドが新しい操作タスクを数例の動画から効率的に学習できる文脈内学習手法を提案し、実世界で成功率を約2倍に向上させた。
- 視覚運動ポリシー学習のための制約保持データ生成マニピュレーション2025/8/1
単一の専門家軌道から、新しい物体形状や姿勢を含むロボット実演を生成し、実世界にゼロショット転移する閉ループ視覚運動ポリシーを訓練する手法を提案。
- FORTE: 繊細な操作のための柔軟指上の触覚力・滑りセンシング触覚2025/6/1
3Dプリント製フィンレイグリッパの内部空気チャネルを使い、低遅延で把持力と滑りを検出する触覚システムを開発。ラズベリーやポテトチップスなど壊れやすい物体を92%の成功率で把持できる。
- Casper: 視覚言語モデルによる多様な意図推論を実現する支援型遠隔操作遠隔操作2025/6/1
視覚言語モデルの常識知識を活用し、ユーザーの操作入力から多様な意図をリアルタイムに推論して、長期的な移動マニピュレーション作業を支援する遠隔操作システムを提案した。
- FLARE: 暗黙的世界モデリングによるロボット学習VLA2025/5/1
将来の観測の潜在表現を予測する世界モデリングを拡散トランスフォーマーポリシーに組み込み、模倣学習の性能と汎化を大幅に向上させた手法。
- SCIZOR: 大規模模倣学習のための自己教師ありデータキュレーション模倣学習2025/5/1
模倣学習データから低品質な状態行動ペアを自己教師ありで除去し、少ないデータで性能を平均15.4%向上させる手法を提案。
- 視覚強化学習から創発するシミュレーション人型ロボットの能動的知覚と器用さVLA2025/5/1
自己中心視覚のみを入力とする強化学習フレームワークPDCを提案し、シミュレーション人型ロボットが物体探索・把持・配置・関節物体操作などの家事タスクを単一ポリシーで遂行できることを示した。
- DreamGen：動画世界モデルでロボット学習の汎化を解き放つVLA2025/5/1
画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。
- GraspMolmo：大規模合成データ生成による汎用タスク指向把持把持2025/5/1
自然言語指示とRGB-D画像から、大規模合成データで学習した視覚言語モデルにより、意味的に適切な把持を予測する汎用タスク指向把持モデルを提案。
- GR00T N1: 汎用人型ロボットのためのオープン基盤モデルVLA2025/3/1
視覚言語モジュールと拡散トランスフォーマを組み合わせた二重システム構成のVLA基盤モデルを提案し、実機・人間動画・合成データで学習して人型ロボットの両手マニピュレーションを実現した。
- シミュレーションと実世界の共訓練：視覚ベースロボットマニピュレーションのための簡単なレシピマニピュレーション2025/3/1
シミュレーションと実世界のデータを混合して方策を共訓練する簡単な手法を提案し、ロボットアームとヒューマノイドの多様なタスクで実世界性能を平均38%向上させた。
- ヒューマノイドの視覚ベース巧みな操作のためのSim-to-Real強化学習sim2real2025/2/1
ヒューマノイドロボットの視覚ベース両手巧みな操作を実現するSim-to-Real強化学習の実践的レシピを提案し、把持・持ち上げ・受け渡しタスクで高い成功率を示した。
- ASAP: シミュレーションと実世界物理の整合による俊敏なヒューマノイド全身スキルの学習sim2real2025/2/1
シミュレーションと実世界のダイナミクス差を補正する残差行動モデルを実機データから学習し、事前学習済みの運動追従方策を微調整することで、ヒューマノイドの俊敏な全身動作を実現する二段階フレームワークを提案した。
- ヒューマノイドの移動と操作：制御・計画・学習の現状と課題ヒューマノイド2025/1/1
ヒューマノイドロボットの移動と操作に関する研究を、モデルベース手法と学習ベース手法の両面から包括的にサーベイし、触覚や基盤モデル統合の可能性と課題を整理した。
- SPOT: 物体中心操作のためのSE(3)姿勢軌道拡散模倣学習2024/11/1
物体のSE(3)姿勢軌道をタスク表現として用い、拡散ポリシーを条件付ける物体中心模倣学習フレームワークを提案。iPhoneで撮影した8つの実演のみで実世界タスクを制約遵守しつつ完遂した。
- LEGATO: 把持ツールを用いた異形態間模倣学習模倣学習2024/11/1
手持ちグリッパで行動と観測を統一し、模倣学習で得た視覚運動方策を逆運動学で多様なロボットの全身動作に変換する異形態間スキル転移フレームワーク。
- RT-Affordance: ロボットマニピュレーションのための汎用中間表現としてのアフォーダンスマニピュレーション2024/11/1
タスクの要所でのロボット姿勢を表すアフォーダンスを中間表現として用い、言語指示からアフォーダンス計画を生成して操作方策を条件付ける階層モデルを提案し、新規タスクで既存手法を50%以上上回る性能を示した。
- DexMimicGen：両腕巧みな操作のための模倣学習による自動データ生成マニピュレーション2024/10/1
少数の人間デモからヒューマノイドロボットの両腕巧みな操作の軌道を自動生成するシステムを提案し、60のデモから21Kのデモを生成して実機タスクに展開した。
- 視覚ワールドモデルを用いたマルチタスク対話型ロボットフリート学習フリート学習2024/10/1
視覚ワールドモデルでロボットの行動結果を予測し異常を検知して、必要なときだけ人間が介入するフリート学習フレームワークを提案。自律性向上に伴い介入要求が自動的に減り、人間の負担を軽減する。
- ワンステップ拡散方策：拡散蒸留による高速視覚運動方策VLA2024/10/1
事前学習済み拡散方策を蒸留して1ステップで行動を生成する手法を提案し、推論速度を1.5Hzから62Hzへと大幅に高速化した。
- OKAMI: 単一動画の模倣によるヒューマノイドロボットの操作スキル学習模倣学習/ヒューマノイド2024/10/1
1本のRGB-D動画から物体を認識して人間の動きをヒューマノイドに再ターゲティングし、操作計画と実行ポリシーを生成する手法を提案。閉ループ視覚運動ポリシーは79.2%の成功率を達成した。
- HOVER: ヒューマノイドのための汎用全身制御ニューラルコントローラヒューマノイド全身制御2024/10/1
全身の運動模倣を共通の抽象表現として活用し、ナビゲーションや卓上操作など複数の制御モードを単一の方策に蒸留統合したヒューマノイド全身コントローラを提案した。
- BUMBLE: 視覚言語モデルによる建物全体の移動マニピュレーションのための推論と行動の統合移動マニピュレーション2024/10/1
建物規模の長期的な移動マニピュレーションタスクに取り組むため、視覚言語モデルを基盤に開放世界RGBD知覚、粗から細への運動スキル、二層メモリを統合したフレームワークBUMBLEを提案し、70試行で平均47.1%の成功率を達成した。
- Harmon: 言語記述からヒューマノイドの全身運動を生成全身運動生成2024/10/1
人間の運動データを事前知識として活用し、視覚言語モデルの常識推論で編集・洗練することで、言語指示に沿った自然で多様なヒューマノイド全身運動を生成する手法を提案した。
- PRESTO: キー配置環境表現に基づく拡散モデルを用いた高速動作計画動作計画2024/9/1
作業空間を少数のキー配置で表現し、それを条件に拡散モデルで初期軌道を生成して軌道最適化で衝突を修正する、学習ベースの動作計画手法を提案した論文。
- KinScene: 関節物体を含むシーンのモデルベース移動マニピュレーションマニピュレーション2024/9/1
移動マニピュレータが屋内シーンを自律探索し、関節物体の運動モデルを構築して、長期的な操作タスクを計画・実行するフルスタック手法を提案。
- RoboCasa：汎用ロボットのための日常タスク大規模シミュレーションsim2real2024/6/1
キッチン環境を中心に多様な3Dアセットと100種類のタスクを備えた大規模シミュレーションフレームワークを構築し、生成AIや自動軌道生成でデータを拡張して汎用ロボットの模倣学習を可能にした。
- DrEureka: 言語モデルが導くSim-to-Real転送sim2real2024/6/1
大規模言語モデルを活用し、報酬関数とドメインランダム化を自動設計することで、四足歩行や器用な操作のシミュレーションから実機への転送を人手を介さず実現した研究。
- ARDuP: 汎用ポリシーのためのアクティブ領域動画拡散VLA2024/6/1
動画生成ベースのポリシー学習において、動きの手がかりから自動的に「アクティブ領域」を抽出し、その領域に注目して拡散モデルで計画・行動生成する手法を提案。シミュレータと実世界データで成功率を改善。
- 単一の人間動画とオープンワールド物体グラフからの視覚ベースマニピュレーション模倣学習2024/5/1
1本の人間のRGB/RGB-D動画から物体中心の操作計画を抽出し、それを条件とする方策を学習することで、未知物体や背景・視点の変化に対応できる模倣学習手法ORIONを提案した。
- InterPreT: 言語フィードバックからの対話的述語学習による汎化可能なタスクプランニングタスクプランニング2024/5/1
人間の非専門家による言語フィードバックから記号述語と作用素を学習し、PDDLに変換してロボットの長期タスクプランニングを実現するLLMベースのフレームワーク。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- PRIME: 行動プリミティブによる模倣学習のデータ効率化フレームワークマニピュレーション2024/3/1
タスクをプリミティブ列に分解し、高レベル方策を模倣学習することで、長期的なマニピュレーションタスクのデータ効率を大幅に改善した研究。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 強化学習のための最小で再利用可能な因果状態抽象化の構築強化学習2024/1/1
強化学習において、各タスクに必要な変数のみを保持する因果的な状態抽象化を学習する手法CBMを提案し、サンプル効率と汎化性能を向上させた。
- ロボティクスにおける基盤モデル：応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- LOTUS: 教師なしスキル発見によるロボットマニピュレーションの継続的模倣学習マニピュレーション2023/11/1
少数の人間のデモからスキルライブラリを継続的に拡張し、メタコントローラで組み合わせて新しいマニピュレーションタスクを生涯学習する手法を提案。
- 物体中心3D表現による汎化可能なマニピュレーションポリシーの学習マニピュレーション2023/10/1
物体中心の3D表現とTransformerポリシーを組み合わせ、背景・視点・新規物体の変化に頑健な模倣学習手法GROOTを提案し、実機でも汎化性能を示した。
- TransformerエージェントのためのクロスエピソードカリキュラムVLA2023/10/1
複数エピソードの経験をTransformerのコンテキストに配置するカリキュラム学習手法を提案し、強化学習と模倣学習の両方で性能と汎化を向上させた。
- Eureka: コーディングLLMによる人間レベルの報酬設計強化学習2023/10/1
GPT-4などのLLMを活用して報酬関数を自動生成・進化させ、強化学習で複雑なロボット操作タスクを人間専門家を超える性能で学習させる手法を提案。
- 対話型模倣学習におけるモデルベース実行時モニタリング模倣学習2023/10/1
対話型模倣学習の枠組みで、潜在空間のダイナミクスモデルと失敗分類器を学習し、将来の行動結果をシミュレートして異常や高リスク状態を事前に検知する実行時モニタリング手法を提案する。
- MimicGen：人間のデモンストレーションからスケーラブルなロボット学習を実現するデータ生成システム模倣学習2023/10/1
少数の人間デモを新しい状況に適応させて大規模データセットを自動生成し、模倣学習によるロボットの長期的・高精度タスクの性能を向上させるシステムを提案。
- 言語訂正による対話型ロボット学習VLA2023/10/1
大規模言語モデルを活用し、ユーザーが言葉でロボットの誤りを訂正すると、そのフィードバックから視覚運動方策を更新して同じ失敗を繰り返さない学習システムOLAFを提案した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- Doduo: 教師なし意味認識フローによる密な視覚的対応学習視覚対応学習2023/9/1
動的なシーンでも画像間の密な対応を教師なしで学習する手法Doduoを提案し、関節推定やゼロショット目標条件付き操作に応用した。
- MUTEX: マルチモーダルなタスク指定から統合ポリシーを学習VLA2023/9/1
動画・画像・テキスト・音声など6種類のモダリティで与えられたタスク指示を統合的に理解し、Transformerでクロスモーダル推論を行うポリシー学習手法を提案。
- VRテレオペレーションによるヒューマノイド移動操作の深層模倣学習模倣学習2023/9/1
VRインタフェースで収集した人間のデモンストレーションから、全身制御と高レベル行動抽象化を用いてヒューマノイドの移動操作スキルを効率的に学習するフレームワークTRILLを提案した。
- 長期的な移動マニピュレーション計画のための記号状態空間最適化タスク・動作計画2023/7/1
長期的な移動マニピュレーションタスクにおいて、タスク計画用の抽象的な状態空間を自動的に最適化し、タスクと動作の計画を効率的に生成する手法を提案した。
- グレンジャー因果的相互作用スキル連鎖階層強化学習2023/6/1
状態因子間の相互作用を検出し、少数のタスク非依存スキルを連鎖させて制御する階層強化学習手法COInSを提案し、ロボット押しタスクやBreakoutでサンプル効率と性能を改善した。
- MimicPlay：人間の遊びデータを活用した長期ホライズン模倣学習模倣学習2023/2/1
人間の自由な手遊び動画から潜在的な行動計画を学習し、少数の遠隔操作デモと組み合わせることで、ロボットの長期的なマニピュレーションタスクの模倣学習を効率化する階層的フレームワークを提案。
- 家の中のDitto：対話的知覚による屋内シーンの関節モデル構築関節物体操作2023/2/1
ロボットが屋内環境を探索し、関節物体を見つけて操作し、その動きから関節モデルを推定する対話的知覚手法を提案。
- 実運用中のロボット学習：ヒューマン・イン・ザ・ループによる自律性と学習ヒューマン・イン・ザ・ループ/マニピュレーション2022/11/1
人間とロボットが作業を分担し、ロボットが苦手な場面では人間が介入する枠組み「Sirius」を提案。人間の信頼度で重み付けした行動クローニングにより、実運用データから方策を改善する。
- 事前データからの学習と検索によるスキルベース模倣学習模倣学習2022/10/1
過去のタスクのデータから時間的に拡張されたスキルを抽出し、新規タスク用のポリシーがそれらを呼び出す枠組みを開発。表現学習と検索ベースのデータ拡張で性能を向上させ、模倣学習やオフライン強化学習を上回ることを示した。
- VIOLA: 物体提案を事前知識に用いた視覚ベースマニピュレーションの模倣学習マニピュレーション2022/10/1
事前学習済み視覚モデルの物体提案を利用して物体中心表現を作り、Transformer方策で行動予測する模倣学習手法を提案。物体変化や環境撹乱に強く、成功率が45.8%向上し、実機で食卓準備やコーヒー作りも実現。
- VIMA: マルチモーダルプロンプトによる汎用ロボットマニピュレーションマニピュレーション2022/10/1
テキストと画像を組み合わせたマルチモーダルプロンプトで多様なロボット操作タスクを指示し、自己回帰的に動作を生成するTransformerエージェントVIMAを提案。新ベンチマークで高いゼロショット汎化性能とデータ効率を示した。
- 操舵による歩行学習：動的環境における知覚的四足歩行歩行2022/9/1
動的環境での四足歩行を、人間の操舵デモによる模倣学習で高レベル経路生成を、強化学習で低レベル歩容生成を学習する階層型フレームワークPRELUDEで実現した。
- COOPERNAUT: 車車間通信を活用した協調知覚によるエンドツーエンド自動運転協調知覚/自動運転2022/5/1
LiDAR情報を車車間で無線通信して共有し、見通し外の危険にも対応する協調知覚型のエンドツーエンド自動運転モデルを提案。事故多発シナリオで従来の自車視点モデルより成功率を40%改善した。
- ACID: 変形物体操作のための行動条件付き暗黙的視覚ダイナミクス変形物体操作2022/3/1
ぬいぐるみや生地のような体積変形物体を対象に、占有と流れの暗黙表現と測地線ベースの対照学習を組み合わせた行動条件付き視覚ダイナミクスモデルを提案し、目標条件付き変形操作の成功率を30%向上させた。
- Ditto: 対話から関節物体のデジタルツインを構築デジタルツイン2022/2/1
関節物体の操作前後の画像から、部品ごとの形状と関節モデルを推定し、シミュレーション可能なデジタルツインを生成する手法を提案。
- 視覚に基づく移動マニピュレーションのためのタスク・動作計画移動マニピュレーション2022/2/1
移動を伴う長時間行動の実現可能性を視覚情報から確率的に評価し、効率と実現性を両立するタスク・動作計画アルゴリズムGROPを提案。シミュレーションと実機で有効性を検証した。
- 終端状態正則化による長期的ロボットマニピュレーションのための敵対的スキル連鎖マニピュレーション2021/11/1
複数の学習済みスキルを連鎖させる際、終端状態分布を敵対的学習で正則化することで初期状態分布を過度に広げずに長期的な家具組立タスクをモデルフリー強化学習で初めて解決した論文。
- 行動プリミティブで強化学習を拡張する多様なマニピュレーションタスクマニピュレーション2021/10/1
把持や押しなどの行動プリミティブのライブラリを階層的方策で組み合わせ、長期的なマニピュレーションタスクにおける強化学習の探索負担を軽減するMAPLEを提案した。
- OSCAR: 適応的で堅牢なロボットマニピュレーションのためのデータ駆動型操作空間制御マニピュレーション2021/10/1
操作空間制御(OSC)のモデル誤差をオンライン軌道から動力学パラメータを推定して補償するデータ駆動型手法OSCARを提案し、分布外でのゼロショット性能と迅速な適応を実現した。
- 未分割デモンストレーションからのボトムアップスキル発見による長期的ロボットマニピュレーションマニピュレーション2021/9/1
未分割の実演データから階層的クラスタリングでスキルを自動発見し、模倣学習で再利用可能なスキルとメタコントローラを訓練して長期的なマニピュレーションタスクを実現した研究。
- オフライン人間デモンストレーションからのロボットマニピュレーション学習で重要なこと模倣学習2021/8/1
6つのオフライン学習アルゴリズムを5つのシミュレーションと3つの実世界の多段階マニピュレーションタスクで比較し、人間デモデータから学ぶ際の課題と教訓を明らかにした研究。
- SECANT: 視覚ポリシーのゼロショット汎化のための自己エキスパートクローニング視覚RL/汎化2021/6/1
弱い画像拡張でRLによりエキスパートを訓練し、強い拡張で生徒ネットワークが模倣学習することで、未知の視覚環境へのゼロショット汎化を実現した手法。
- 多様なタスクの自動生成による汎化可能スキルの発見スキル学習2021/6/1
訓練可能なタスク生成器で多様なタスクを自動生成し、各スキルを固有タスクに特化させつつタスク多様性を最大化することで、汎化可能なロボットスキルを獲得する手法SLIDEを提案。
- アフォーダンスと幾何の相乗効果：暗黙表現による6自由度把持検出把持検出2021/4/1
3D再構成と把持学習をマルチタスク学習で統合し、暗黙的ニューラル表現を用いて clutter 内の6自由度把持検出を高精度化した研究。
- 協調テレオペレーションによる多腕マニピュレーションの学習マニピュレーション2020/12/1
複数ユーザが遠隔から同時に複数のロボットアームを操作して実演を収集するプラットフォームMARTを構築し、多腕タスクの模倣学習における集中化の課題を分析した研究。
- 破損センサを検知・排除・補償するクロスモーダル補償モデルマルチモーダル/マニピュレーション2020/12/1
複数モダリティのセンサ情報から破損したセンサを自己教師あり学習で検知し、残りのセンサ情報で補償する表現モデルCCMを提案し、接触を伴うマニピュレーションに応用した。
- 多様な物体のロバスト把持最適化から創発するハンド形態と制御マニピュレーション2020/12/1
ベイズ最適化を用いてハンドの形状と把持制御を同時に設計し、多様な物体を把持できる効率的なハンド形態を自動発見する手法を提案した論文。
- 幾何・記号シーングラフを用いた長期マニピュレーションの階層的計画マニピュレーション2020/12/1
幾何シーングラフと記号シーングラフの二層表現をGNNで処理し、ニューロシンボリックなタスク計画と低レベル動作生成を統合した長期マニピュレーション手法を提案。実機のキッチン収納タスクで70%超の成功率を達成した。
- 遠隔操作による人間介入型模倣学習模倣学習2020/12/1
6自由度マニピュレーション向けに、人間が遠隔から訓練済み方策を監視・介入できるデータ収集システムと、介入データで方策を反復学習するアルゴリズムを提案した論文。
- 深層アフォーダンス先読み：将来可能な行動を通じた計画立案マニピュレーション2020/11/1
将来のアフォーダンスをモデル化することで長期的な行動効果を推論し、多段階の操作タスクを学習・計画する手法を提案した論文。
- 深層物体姿勢推定のための高速不確実性定量化姿勢推定2020/11/1
複数の事前学習済み姿勢推定モデルの予測の不一致から不確実性を推定する簡便な手法を提案し、実ロボット把持の成功率を35%から90%に向上させた。
- robosuite：モジュール式ロボット学習シミュレーションとベンチマークシミュレーション2020/9/1
MuJoCoを基盤としたモジュール式ロボット学習シミュレーションフレームワークrobosuite v1.5の主要モジュールとベンチマーク環境を紹介する論文。
- 接触に適応する四脚ロボット制御の階層学習フレームワーク歩行2020/9/1
モデルベース制御と強化学習を組み合わせ、環境変化に応じてプリミティブを選択する階層型制御器を四脚ロボット向けに学習させ、省エネ性と頑健性を向上させた。
- 難探索問題のための適応的プロシージャルタスク生成強化学習・カリキュラム2020/7/1
強化学習のカリキュラムとしてタスクを段階的に生成するAPT-Genを提案し、エージェントの成績と目標タスクとの類似度を両立させる敵対的学習で難探索問題の性能を向上させた。
- RoboTurkで数百時間規模のロボット教師データ収集を実現テレオペレーション2019/11/1
遠隔テレオペレーション基盤RoboTurkを拡張し、1週間で54人・3タスク・111時間超のロボットマニピュレーションデータを収集、その品質と多様性を評価した論文。
- KETO: 道具操作のためのキーポイント表現学習マニピュレーション2019/10/1
道具を使った操作タスクにおいて、3D点群からタスク固有のキーポイントを自己教師あり学習で予測し、把持と操作を効率化するフレームワークを提案した。
- 6-PACK: アンカーベースキーポイントによるカテゴリレベル6D姿勢トラッカー6D姿勢推定2019/10/1
RGB-Dデータ上で未知の物体インスタンスの6D姿勢をリアルタイム追跡するため、少数の3Dキーポイントを教師なしで学習し、キーポイントマッチングでフレーム間の動きを推定する手法を提案した。
- カスケード変分推論による多段階マニピュレーションのダイナミクス学習マニピュレーション2019/10/1
高次効果の予測と低次動作の生成を分離するカスケード変分推論で潜在表現を学習し、2つの時間解像度で階層的に計画するモデルベース手法を提案した。
- 回帰計画ネットワーク：高次元観測からの長期シンボリック計画学習計画学習2019/9/1
古典的な回帰（後向き）計画の考え方をニューラルネットに取り入れ、目標から現在の観測へ逆向きに中間目標列を生成することで、高次元視覚入力から長期タスクの計画を直接学習する手法を提案した。
- DualSMC: 連続POMDPにおける微分可能なフィルタリングと計画のトンネリングPOMDP/計画2019/9/1
連続POMDPのフィルタリングと計画を2つの関連する逐次モンテカルロ過程として定式化し、敵対的粒子フィルタと不確実性依存の計画を組み合わせたDualSMCネットワークを提案した。
- SURREAL-System：分散深層強化学習のための完全統合スタック分散強化学習2019/9/1
ハードウェア抽象化からアルゴリズムまで4層で構成され、ラップトップからクラウドまでスケール可能な分散強化学習フレームワークを提案し、PPOやESを数千コア・数百GPUに拡張してGymとRoboticsで最先端性能を達成した。
- 記号プランナの連続緩和によるワンショット模倣学習模倣学習2019/8/1
ワンショット模倣学習を記号計画と記号接地の問題として定式化し、記号接地モデルの確率的出力上で直接計画する連続緩和プランナを提案した論文。
- 視覚と触覚を統合したマルチモーダル表現学習による接触の多い操作タスクマルチモーダル表現学習2019/7/1
自己教師あり学習で視覚と触覚のコンパクトなマルチモーダル表現を獲得し、ペグ挿入タスクにおける強化学習のサンプル効率と汎化性能を向上させた研究。
- DenseFusion：反復的な密融合による6D物体姿勢推定6D姿勢推定2019/1/1
RGB-D画像から既知物体の6D姿勢を推定するため、RGBと深度を個別に処理してピクセル単位の密な特徴を融合するネットワークと反復的な姿勢精緻化を組み合わせた手法を提案し、YCB-VideoとLineMODで最先端性能を達成、実機ロボットでの把持にも応用した。
- RoboTurk：模倣によるロボット技能学習のためのクラウドソーシング基盤模倣学習2018/11/1
スマホなどの一般モバイル端末で6自由度の遠隔操作を可能にし、クラウドソーシングで大規模な操作デモを収集するプラットフォームを構築した。VRコントローラ並みの操作性と劣悪なネットワーク下での頑健性を示し、2200件超のデモを収集して疎報酬の多段階操作タスクの政策学習に有効であることを実証した。
- 視覚と触覚を統合する自己教師ありマルチモーダル表現学習による接触の多い操作マルチモーダル/触覚2018/10/1
視覚と触覚の入力を自己教師あり学習でコンパクトなマルチモーダル表現にまとめ、強化学習のサンプル効率を高めてペグ挿入タスクを実機でも安定してこなせるようにした研究。
- ニューラルタスクグラフ：単一動画デモから未見タスクへ汎化する方策学習模倣学習2018/7/1
単一の動画デモから未見タスクを遂行する方策を生成するため、タスクの合成構造を中間表現として組み込むNeural Task Graphを提案し、ブロック積み上げや物体収集タスクで汎化性能を示した。
- シミュレーション自己教師あり学習による道具操作用のタスク指向把持の学習マニピュレーション2018/6/1
道具を使ったタスクのために、把持と操作方策を同時に最適化するTOG-Netを提案し、大規模シミュレーション自己教師あり学習で訓練して、掃き掃除とハンマー打ちで実機検証した論文。
- 多様な視覚運動スキルのための強化学習と模倣学習の融合模倣学習/強化学習2018/2/1
少量のデモデータを活用して強化学習エージェントを支援するモデルフリー深層RL手法を提案し、RGB画像から関節速度を直接出力する視覚運動ポリシーを訓練した。多様なマニピュレーションタスクで単独のRLや模倣学習より高性能を示し、sim2real転移の可能性も示した。
- ニューラル・タスク・プログラミング：階層的タスクへの汎化を学ぶ模倣学習2017/10/1
タスクの映像デモを入力に、階層的にサブタスクへ再帰分解し、下位プログラムを呼び出すニューラルプログラムでロボット操作を学習する枠組みを提案。未見の長さ・構造・目的のタスクへ汎化できることを示した。
- 確率的動力学系におけるゼロショット適応ポリシー転送sim2real2017/7/1
シミュレータで学習したRLポリシーを、オンラインのチューブ型MPCと組み合わせることで、動力学誤差のある未知環境へ安全かつゼロショットで転送するADAPTを提案した。
- 深層後継表現を用いた視覚的意味計画視覚計画2017/5/1
視覚環境で初期状態から目標状態へ遷移する行動列を予測するため、模倣学習で強化学習をブートストラップし、後継表現に基づく深層予測モデルでタスク間の汎化を実現した。
