Yilun Du
Harvard University
収録論文 109本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- エネルギーベースモデルから見る機械学習の統一的理解生成モデル2026/11/10
エネルギーベースモデル(EBM)を共通のレンズとして、識別・生成・表現学習・強化学習など多様な機械学習手法がエネルギー・推論・学習の3つの選択の違いとして統一的に整理できることを示したチュートリアル。
- 統合生成幾何モデルUGG4Dシーン理解2026/11/10
RGB動画と深度・カメラ姿勢などの幾何情報を単一の生成モデルで統合的に扱い、4Dシーン理解を実現するフレームワークを提案した論文。
- エネルギーベースのポリシーオーケストレーション階層制御2026/11/2
階層制御において、各低レベルポリシーごとに目標の実現可能性を表すエネルギーを学習し、実行時にポリシーと目標のペアを選択・調整する手法EPOを提案。ヒューマノイドの移動操作タスクでsim2realを実証した。
- 連続制御のための反復Gumbelプランニング連続制御/プランニング2026/11/1
探索ベース計画と連続ガウス方策の不整合を解消するため、次元ごとの因子化カテゴリ方策とGumbel Top-Kサンプリング、MPPI型反復探索を組み合わせたIGPを提案し、DMControlとHumanoidBenchで最先端性能を達成した。
- 異なる役割を学ぶ：合成拡散ポリシーのためのコンポーネント特化拡散ポリシー2026/10/19
複数タスクを合成する拡散ポリシーにおいて、各コンポーネントが重複せず特化するよう促すスコア非相関化損失を提案し、タスク分解の改善と解釈性向上を示した。
- 夢見たことを実現：長期的ロボット操作のためのスパース視覚計画視覚計画2026/10/18
動画モデルをスパースな視覚サブゴール計画に接地させる階層型ポリシーDreamCanを提案し、長期的な操作タスクで高い成功率を達成した。
- ロボットエージェントのためのオンライン探索スケーリングロボットエージェント/オンライン探索2026/10/15
汎用コーディングエージェントがロボット制御コードを生成し、オンライン探索でタスク達成の行動系列を発見・プログラム化するフレームワークRAXを提案。単腕・双腕・多指・移動・ヒューマノイドで実機・シミュレーション検証し、探索規模拡大に伴う汎化性能向上を示した。
- 分散型エージェント群における自己オーケストレーションの学習群制御2026/10/15
市場メカニズムに基づく入札を通じて、分散型エージェント群が行動方策と自己組織化を同時に学習するフレームワークを提案し、協調戦略やスケーラビリティの向上を示した。
- 一歩生成を過剰に考えすぎていないか？一歩生成2026/10/14
拡散モデルやフローマッチングの一歩生成において、再構成目的で事前学習するだけで分布学習の難しさが解消されることを示し、訓練計算量と生成品質のパレートフロンティアを大幅に改善した。
- 生成的軌道計画によるモデルベースオンライン意思決定モデルベース計画2026/10/13
拡散モデルを行動系列の提案分布として学習し、学習済みの力学・報酬・価値モデルで洗練することで、効率的な推論と長期的推論を両立させるモデルベース計画フレームワークGTPを提案。
- 視覚による力予測を用いたロボット学習マニピュレーション2026/10/3
柔軟なFin Rayグリッパの変形から視覚的に力を予測し、力覚センサなしで接触を伴うマニピュレーションを実現する手法を提案。
- SyncWorld: 視覚キャリブレーションによるワールドモデルのゼロショットシミュレータ化ワールドモデル/シミュレーション2026/9/8
ロボットの行動と視覚変化の対応を視覚キャリブレーションで文脈的に指定することで、未見環境でも追加学習なしに行動結果を正確にシミュレートできるワールドモデルを提案した。
- Hydra-0: 汎用世界モデリングと制御のためのアクションフロー世界モデル2026/8/18
ロボットの動作をピクセル運動として表現するアクションフローを用いた汎用世界モデルを提案し、動作誤差を大幅に低減し、ゼロショット合成やデータ効率的な適応を実現した。
- 視覚運動ポリシー学習のための順序付きアクショントークンVLA2026/7/1
ロボットの連続的なアクションを離散トークンに変換する際、高圧縮・完全復号可能・順序性を満たす新しいトークナイザーOATを提案し、複数のベンチマークで有効性を示した。
- DriftWorld: ドリフトによる高速ワールドモデリングワールドモデル2026/7/1
拡散ベースのワールドモデルは推論時の反復サンプリングが遅いため、ロボットの行動計画に必要な多数のロールアウト生成がボトルネックとなる。本論文では、訓練中に行動条件付きドリフトを学習し、単一の順伝播で未来フレームを生成できるDriftWorldを提案し、拡散ベースのベースラインより平均17倍高速で、複数の操作ベンチマークで最先端の意思決定性能を達成した。
- マスク視覚アクションによる統一世界モデリング世界モデル2026/7/1
ロボットの行動をビデオのピクセル空間で表現する新しいインターフェースを導入し、少量のデータで学習したモデルが将来予測や逆モデリングを実現する。
- ロボット計画のための構造化4D潜在予測モデル計画/ビデオ予測2026/7/1
ロボットの計画に使うため、観測とテキスト指示に基づいてシーンの3D構造の進化を潜在空間で予測するモデルを提案し、将来のシーンを生成して行動に変換する。
- Bスプライン方策：Bスプライン行動表現による操作方策の高速化マニピュレーション2026/7/1
離散時刻の行動チャンクの代わりにBスプライン曲線で行動を表現し、操作方策の実行を高速化する手法を提案した論文。
- ワールドアクションプランナー：行動条件付きワールドモデルによる汎用意思決定VLA/計画2026/7/1
視覚言語モデルとマルチタスクのポーズ画像条件付きワールドモデルを組み合わせ、初期行動計画を提案し、想像上のロールアウトを最適化・探索で反復改良するロボット計画システムを提案。構成タスクや新規レイアウト、ゼロショット汎化で既存のVLAやWAMを上回る性能を示した。
- テスト時生成ビデオ推論のための時間的バックトラッキング探索ビデオ生成/推論2026/6/11
ビデオ生成モデルの推論を改善するため、時間軸上で生成・検証・再開を繰り返すTBS法を提案し、単発生成やBoNサンプリングより高い成功率を達成した。
- IMPACT: 力強いロボット操作のための内部モデル予測制御の学習マニピュレーション2026/6/9
力強い操作タスクをタスク計画と内部モデル予測制御に分離するフレームワークを提案し、シミュレーションと実世界で成功率と汎化性を向上させた。
- 日常の人間ビデオを用いたロボット操作ポリシーの共学習で重要な要素は何か？操作学習2026/6/4
ロボット操作ポリシーの共学習に日常の人間ビデオを用いる際、手のポーズの品質とネットワークの専門化が重要であることを示し、低ロボットデータ環境で成功率を29.7%向上させるレシピを提案した。
- スペクトル分解による階層的ポリシー学習マニピュレーション2026/6/1
ロボットの行動系列をスペクトル分解し、低周波成分で大まかな動き、高周波成分で精密な調整を捉える階層的ポリシーを提案。シミュレーションと実機で精密操作タスクの性能を向上させた。
- 一度触れるだけ：単一触覚接触からの6自由度物体姿勢推定触覚/姿勢推定2026/6/1
視覚が使えない状況でも、2点の同時触覚接触から物体の6自由度姿勢を推定するシステムYOTOを提案。接触を点群として物体表面に位置合わせし、閉形式解法で姿勢を復元する。
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- CoStream: 単純な行動の合成による汎用的な複雑操作の実現マニピュレーション2026/6/1
複雑な操作タスクを、基盤モデルと多様なセンシングを組み合わせた複数の単純な行動（意味的・予測的・反応的）に分解し、それらをSE(3)インターフェース上で合成することで、高精度と汎用性を両立するフレームワークを提案した。
- まず計画、その後拡散：長期的拡散計画のための外部グラフガイダンス拡散計画2026/5/1
拡散モデルによる長期計画において、ノイズ除去プロセスの外部で状態空間グラフ上の計画を先に計算し、その計画で単一軌道のノイズ除去を導くことで、探索の負担を軽減し、未見のタスクや低品質データでも性能を向上させる手法を提案した。
- ロボット学習のためのワールドモデル：包括的サーベイサーベイ2026/5/1
ロボット学習におけるワールドモデルの役割と進化を体系的にレビューし、ポリシー学習、シミュレーション、評価への応用や課題を整理したサーベイ論文。
- GEM-4D: ロボット操作のための幾何学強化ビデオワールドモデルVLA2026/5/1
ビデオ生成モデルに4次元対応関係の教師信号を注入し、外観と幾何構造を同時に学習させることで、物理的に一貫した未来予測とロボット操作への直接適用を可能にした。
- ComSim: 構成シミュレーションによるスケーラブルな実世界ロボットデータ生成sim2real2026/4/1
古典的シミュレーションとニューラルシミュレーションを組み合わせ、少量の実データから多様な実世界データを生成するハイブリッド手法を提案。sim2realギャップを低減し、実世界でのポリシー学習成功率を向上させる。
- 世界行動検証器：順方向・逆方向の非対称性による自己改善型世界モデル世界モデル2026/4/1
世界モデルが自身の予測誤差を検出し自己改善するフレームワークWAVを提案。状態の妥当性と行動の到達可能性を分離検証し、順方向・逆方向の非対称性を活用してサンプル効率とポリシー性能を向上させる。
- アクションイメージ：マルチビュー動画生成によるエンドツーエンド方策学習VLA2026/4/1
ロボットの7自由度動作をピクセルに接地したアクション動画として表現し、動画生成モデル自体を方策として用いる統一的な世界行動モデルを提案した。RLBenchと実機評価で高いゼロショット成功率を達成した。
- タスクをスケールせよ：マルチタスクモデルベース強化学習によるヒューマノイド制御の習得強化学習2026/3/1
サンプル数ではなくタスク数を増やすことで、モデルベース強化学習がヒューマノイドの多様なスキルを効率的に学習できることを示した論文。
- 検証器による更新不要のオン方策ステアリングマニピュレーション2026/3/1
ロボットの行動成功率を予測する検証器を訓練し、実行時に方策を高成功率の行動へと誘導する、パラメータ更新不要の手法を提案。実タスクで成功率を平均49%向上させた。
- 順序付き行動トークン化（OAT）VLA2026/2/1
連続的なロボット行動を、自己回帰生成に適した順序付きトークン列に変換する学習型トークナイザを提案し、シミュレーションと実機の20以上のタスクで従来手法を上回る性能と推論時の柔軟性を示した。
- 超大規模動画推論スイート動画推論2026/2/1
200種類の推論タスクと100万本以上の動画からなる大規模データセットVBVRと、ルールベースで検証可能な評価ベンチマークVBVR-Benchを構築し、動画推論のスケーリング則と未見タスクへの汎化の兆候を示した。
- 世界行動モデルはゼロショット方策であるVLA2026/2/1
動画拡散モデルを基盤に未来の世界状態と行動を予測するWorld Action Model「DreamZero」を提案し、実機でVLAを上回る汎化性能と7Hzのリアルタイム閉ループ制御を実現した。
- 流れ同変ワールドモデル：部分観測動的環境のための記憶ワールドモデル2026/1/3
自己運動と物体運動に応じて潜在記憶を同変的に移動・変換することで、部分観測下でも長期的な動力学予測を安定かつ高精度に行うワールドモデルを提案した。
- マルチエージェントロボットシステム（MARS）チャレンジの進歩と革新マルチエージェント2026/1/1
NeurIPS 2025ワークショップで開催されたMARSチャレンジを紹介し、VLMを用いたマルチエージェントの計画とロボットマニピュレーションの制御という2領域での取り組みを概説した論文。
- 因子分解拡散ポリシーによる柔軟なマルチタスク学習マニピュレーション2025/12/1
複雑な行動分布を専門化した拡散モデルの合成に分解するモジュラー拡散ポリシーを提案し、マルチタスク操作で性能と適応性を向上させた。
- OpenTouch: 実世界インタラクションに全手触覚をもたらす触覚2025/12/1
一人称視点の動画と全手の触覚・姿勢を同期した初の実世界データセットを構築し、触覚が把持理解やクロスモーダル alignment に有効であることを示した。
- VeoワールドシミュレータによるGeminiロボティクスポリシーの評価sim2real2025/12/1
最先端の動画生成モデルVeoを基盤とした生成評価システムを構築し、ロボットポリシーの通常性能から分布外汎化、物理・意味的安全性までをシミュレーションで評価できることを示した。
- 大規模動画プランナーによる汎用ロボット制御VLA2025/12/1
インターネット規模の人間活動動画で生成的なロボット計画モデルを基盤モデル規模で学習し、新しい場面やタスクに対してゼロショットで動画計画を生成して実機の行動に変換する手法を提案した。
- モデルベース拡散サンプリングによるオフライン意思決定の予測制御拡散モデル/予測制御2025/12/1
拡散プランナと動力学拡散モデルを組み合わせ、サンプリング中に両者を交互更新することで、タスク意図を保ちつつ動的に実現可能な軌道を生成するMPDiffuserを提案。オフライン制御ベンチマークと実機四足ロボットで有効性を示した。
- SIMPACT: 視覚言語モデルによるシミュレーション活用型行動計画マニピュレーション2025/12/1
視覚言語モデルにテスト時に物理シミュレーションを組み合わせ、追加学習なしで接触を伴う細かいマニピュレーションの行動計画を可能にした手法。
- 巧みな操作のためのクロスエンボディメント世界モデルのスケーリングマニピュレーション2025/11/1
人間とロボットの手を3D粒子で表現し、エンドエフェクタの粒子変位場を行動として定義することで、異なる身体構造を超えて共有できる世界モデルを学習し、新しいハードウェアでの操作制御を実現した。
- 目標条件付き強化学習のためのテスト時グラフ探索強化学習2025/10/8
既存の目標条件付き強化学習ポリシーに、学習不要の軽量なグラフ探索ラッパーを組み合わせることで、長期的タスクの成功率を大幅に向上させる手法を提案した。
- MoTVLA: 高速・低速推論を統合した視覚-言語-行動モデルVLA2025/10/1
事前学習済みVLMとドメイン専門家トランスフォーマーを組み合わせ、高速・低速の推論を統合してロボットの行動方策を学習するVLAモデルを提案。
- 拡散モデル予測制御による柔軟な歩行学習歩行2025/10/1
生成拡散モデルをダイナミクスの事前分布として使うMPCで、報酬と制約を考慮した歩行制御を実現し、テスト時の適応性を高めた。
- 幾何学を考慮した方策模倣模倣学習2025/10/1
模倣学習を実演の幾何学的曲線として捉え、距離場から進行流と吸引流を導出することで、拡散ベースの方策より高成功率かつ20倍高速でメモリ効率の良いロボット制御を実現した。
- Gemini Robotics 1.5：高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- ビデオ再計画による暗黙的な状態推定VLA2025/10/1
ビデオベースの計画フレームワークにインタラクション時のデータを統合し、モデルパラメータをオンライン更新して失敗した計画を除外することで、暗黙的な状態推定を実現する手法を提案。
- 記号計画と連続計画を同時に生成するハイブリッド拡散モデルVLA2025/9/1
拡散モデルで連続的なロボット軌道を生成しつつ、高レベルの記号計画も同時に生成するハイブリッド手法を提案し、長期的タスクの意思決定を改善した。
- マルチモーダル政策コンセンサスによるマルチモーダルマニピュレーションマニピュレーション2025/9/1
視覚や触覚など複数の感覚モダリティを、それぞれに特化した拡散モデルと適応的な重み付けを行うルータネットワークで統合し、接触の多いタスクや遮蔽された物体の操作を可能にする手法を提案。
- Set It Up：構成可能な生成モデルによる機能的物体配置物体配置2025/8/1
大規模言語モデルと拡散モデルを組み合わせ、食卓や本棚、家具の配置など、指示に応じた機能的で美的な物体配置を実現するフレームワークを提案。
- MindJourney：世界モデルによるテスト時スケーリングで空間推論を実現VLA2025/7/1
VLMに動画拡散ベースの世界モデルを組み合わせ、テスト時に視点移動を探索させることで3D空間推論を強化するフレームワークを提案。
- 視覚ロボット計画のための自己改善ループVLA2025/6/1
ロボットタスクを解くための視覚計画モデルを、自己生成した軌跡で反復的に改善するSILVRを提案し、未見タスクでも性能が向上することを示した。
- 合成による異常検知：オフロードナビゲーションのための生成拡散モデルを用いた異常検出異常検知2025/5/1
拡散モデルで入力画像から異常を除去した画像を合成し、その編集箇所を解析することで、訓練データにない異常を画素単位で検出する手法を提案。
- 3D永続的具現化ワールドモデルの学習ワールドモデル2025/5/1
過去に生成した内容を明示的に記憶する3Dマップを条件付けし、RGB-D動画拡散モデルで長期的に一貫した未来予測を可能にする永続的ワールドモデルを提案。計画や方策学習に有効性を示す。
- 身体性を持つ生成AIシステムの性能・効率・拡張性に関するシステムレベル分析VLA2025/4/1
LLMを活用した身体性エージェントシステムを4つのパラダイムに分類し、ベンチマークを通じて性能とシステム効率を評価して課題を明らかにし、最適化戦略を提案した初のシステムレベル分析。
- インターネット動画知識の適応による新規タスクの解決VLA2025/4/1
大規模動画生成モデルに少量のロボット実演データを適応させ、テキスト条件付けで新規タスクへ汎化する手法を比較し、逆確率適応という新手法を提案した。
- TesserAct: 4D身体化世界モデルの学習世界モデル2025/4/1
RGB-DN動画を生成するビデオモデルを微調整し、身体化エージェントの行動に応じた4Dシーン予測を可能にする世界モデルを提案。
- AdaWorld: 潜在行動で適応可能な世界モデルを学習する世界モデル2025/3/1
動画から自己教師ありで潜在行動を抽出し、それに条件づけた自己回帰的世界モデルを事前学習することで、新しい環境や行動への適応を効率化する手法を提案。
- MoE-Loco：複数タスク歩行のための専門家混合歩行2025/3/1
脚型ロボットの多様な地形・歩容に対応する単一ポリシーを、専門家混合（MoE）で勾配衝突を抑えつつ学習させる手法を提案し、実機でも検証した。
- 拡散モデルの合成による生成的な軌道スティッチング軌道計画2025/3/1
学習済みの短い軌道チャンクを双方向拡散モデルで合成的につなぎ合わせ、未見の長期的タスクを計画できる手法CompDiffuserを提案した。
- Gemini Robotics：AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 予測的世界モデルによる生成ロボットポリシーの推論時強化マニピュレーション2025/2/1
学習済み拡散ポリシーを再学習せずに、行動条件付き世界モデルで推論時にオンライン計画を行い、操作タスクの性能を向上させる手法GPCを提案。
- 逆生成モデリングによる少数ショットタスク学習少数ショット学習2024/11/1
事前学習した可逆生成モデルを使い、重み更新なしで数例から新しいタスク概念（目標や動作スタイル）を学習する手法を提案。物体再配置・ナビゲーション・動作キャプション・自動運転・実機卓上操作で検証。
- 目標条件付き探索による動画モデルの行動への接地VLA2024/11/1
大規模動画モデルを自己探索によって連続行動に直接接地させ、報酬や行動ラベルなしで複雑なタスクを解くフレームワークを提案した。
- 人間との対話による推論時ポリシーステアリングVLA2024/11/1
事前学習済みの生成ポリシーを微調整せずに、人間の介入でサンプリング過程をバイアスし、意図に沿った行動を引き出す枠組みを提案。
- 3D-Mem: 身体性エージェントのための3Dシーンメモリ身体性AI2024/11/1
探索領域を多視点画像の「メモリスナップショット」として記憶し、未探索領域の「フロンティアスナップショット」も活用することで、身体性エージェントの探索と推論を向上させる3Dシーンメモリを提案した。
- 柔軟な制約に対応する合成拡散モデルによる動力降下軌道生成軌道生成/拡散モデル2024/10/1
拡散モデルで6自由度の動力降下軌道を生成し、複数の制約を組み合わせて最適化の初期値に使うことで、頑健性と速度を向上させた研究。
- ロボティクスにおける深層生成モデル：マルチモーダル実演からの学習に関するサーベイ模倣学習2024/8/1
ロボットの実演学習に深層生成モデル（拡散モデルやGANなど）を活用する近年の研究を、モデル種別・応用・分布外汎化の観点から統一的に整理したサーベイ。
- ポテンシャルベース拡散運動計画運動計画2024/7/1
ポテンシャルベースの運動計画をニューラルネットワークで学習し、拡散モデルを用いて局所解を回避しながら高次元空間での計画を可能にした手法を提案。
- 拡散強制：次トークン予測と全系列拡散の融合生成モデル2024/7/1
各トークンに独立なノイズレベルを与えて拡散モデルを訓練する新手法を提案し、次トークン予測と全系列拡散の長所を組み合わせて可変長生成や計画タスクで性能を向上させた。
- マルチモーダル物理シーン理解のための分離音響場音響・マルチモーダル2024/7/1
音の生成・伝播過程を分離表現でモデル化し、落下物の位置に関する空間不確実性マップを構築して探索候補を提示することで、物体探索の成功率を高める手法を提案。
- ストリーミング拡散ポリシー：可変ノイズ拡散モデルによる高速方策生成模倣学習2024/6/1
拡散モデルによるロボット模倣学習の方策生成を高速化するため、部分的にノイズ除去した行動軌跡を逐次更新するSDPを提案し、蒸留なしで性能を保ちつつ大幅な高速化を実現した。
- セット・イット・アップ！：構成的生成モデルによる機能的物体配置物体配置2024/5/1
「二人用の食卓をセットして」のような曖昧な指示から、物体間の抽象的な空間関係をLLMで推論し、拡散モデルを組み合わせて機能的で美しい配置を生成するフレームワークを提案。
- RoboDreamer: ロボットの想像のための構成的世界モデルの学習世界モデル2024/4/1
言語指示を低レベルプリミティブに分解して動画生成を条件付けすることで、未見の物体と行動の組み合わせに対応できる構成的世界モデルを提案し、ロボットの計画生成を実現した。
- インターネット動画からの汎用ロボット学習に向けて：サーベイVLA2024/4/1
インターネット上の大規模動画を活用してロボット学習のデータ不足を補う「動画からの学習（LfV）」の研究動向を体系的に整理し、課題と将来展望を論じたサーベイ論文。
- 3D-VLA：3D視覚・言語・行動の生成的ワールドモデルVLA2024/3/1
3D知覚・推論・行動を生成的ワールドモデルで結びつけた基盤モデルを提案し、拡散モデルによる将来の画像・点群生成を通じて行動計画能力を向上させた。
- PoCo: 異種ロボット学習のためのポリシー合成マニピュレーション2024/2/1
拡散モデルで表現された異なるデータ分布を合成し、マルチモーダル・マルチドメインのデータから汎用的な操作スキルを学習する手法を提案。
- 構成可能な生成モデリング：単一モデルだけでは不十分生成モデル2024/2/1
大規模単一生成モデルではなく、小さな生成モデルを組み合わせて構成する手法を提案し、データ効率や未見分布への汎化、新タスクへのプログラム的構築が可能であることを示した。
- DiffuseBot: 物理拡張拡散モデルによるソフトロボットの創成ソフトロボティクス/生成モデル2023/11/1
物理シミュレーションを組み込んだ拡散モデルでソフトロボットの形状を生成し、微分可能シミュレーションによる制御との共同設計で多様なタスクをこなせるロボットを自動生成する手法を提案。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- 行動ラベルなし動画から密対応を介して行動を学習するVLA2023/10/1
行動注釈なしの少数の動画デモから、画像とテキストを活用してロボット方策を構築し、卓上操作やナビゲーションタスクで有効性を示した研究。
- 拡散モデルによる適応的オンライン再計画拡散モデル計画2023/10/1
拡散モデルを用いた計画において、既存計画の尤度に基づいて再計画のタイミングを判断し、元の目標状態を維持しつつ効率的に再計画する手法を提案。
- 拡散モデルによる合成的連続制約ソルバタスク・モーション計画2023/9/1
個々の制約タイプごとに学習した拡散モデルのエネルギーを因子グラフ上で合成し、連続制約充足問題の大域解を生成する手法を提案。新規な制約の組み合わせへの汎化や、離散・連続パラメータを含む長期タスク計画への統合を示した。
- 階層的計画のための構成型基盤モデルVLA2023/9/1
言語・視覚・行動の基盤モデルを組み合わせ、長期的な卓上操作タスクを階層的に計画・実行する手法を提案。
- 3D-LLM：3次元世界を大規模言語モデルに注入する3D-LLM2023/7/1
3D点群を入力とし、キャプション生成や3D質問応答、ナビゲーションなど多様な3Dタスクを実行できる3D-LLMを提案。300k以上の3D言語データを収集し、2D VLMをバックボーンに訓練することで、空間情報をより良く捉える。
- 大規模言語モデルを用いた協調型身体性エージェントのモジュール構築VLA2023/7/1
LLMを認知モジュールに組み込み、知覚・記憶・実行を統合した協調型身体性エージェントCoELAを構築し、分散制御下での多エージェント協調タスクを効率的に解決できることを示した。
- マルチビュー画像からの3D概念学習と推論3D推論2023/3/1
マルチビュー画像から3D表現を構築し、視覚言語モデルとニューラル推論を組み合わせて3D視覚質問応答を行うフレームワークを提案し、大規模ベンチマークを構築した。
- NeuSE: 物体の一貫した空間理解のためのニューラルSE(3)同変埋め込み物体SLAM2023/3/1
物体の部分観測からSE(3)同変な潜在埋め込みを生成し、物体SLAMにおける長期シーン変化に対応した一貫した空間理解と変化認識マッピングを実現する手法を提案。
- 拡散ポリシー：行動拡散による視覚運動ポリシー学習VLA2023/3/1
ロボットの視覚運動ポリシーを条件付きノイズ除去拡散過程として表現し、12タスクで平均46.9%の性能向上を達成した。
- 反復エネルギー最小化による系列モデルを用いた計画計画2023/3/1
マスク言語モデルで行動軌跡のエネルギー関数を学習し、エネルギー最小化として計画を行う手法を提案し、BabyAIやAtariで性能向上を実証した。
- 局所ニューラル記述子場：操作のための局所条件付き物体表現マニピュレーション2023/2/1
物体の局所形状に基づくニューラル記述子を用いて、少数の実演から未知形状カテゴリの新規物体へ操作スキルを転移する手法を提案し、シミュレーションと実機で有効性を示した。
- 可視性を考慮した可動障害物間ナビゲーションナビゲーション2022/12/1
地図や物体位置が完全には見えない環境で、視界の制約を考慮しながら障害物を動かして進むロボットナビゲーション問題(VANAMO)を定式化し、LaMBアルゴリズムを提案した。
- MIRA: ロボットのアフォーダンスのためのメンタルイメージマニピュレーション2022/12/1
2D画像から一貫した3Dシーン表現を構築し、新規視点の画像合成とピクセル単位のアフォーダンス予測を組み合わせて6自由度マニピュレーションの行動を最適化するフレームワークを提案。
- ニューラル記述子場によるSE(3)同変な関係再配置マニピュレーション2022/11/1
少数の実演から物体間の空間関係を学習し、任意姿勢の未知物体を点群から再配置する手法を提案。ニューラル記述子場と単一の3Dキーポイント注釈を用いてタスク関連の局所座標系を推定する。
- StructDiffusion: 未知物体を用いた言語誘導による物理的に妥当な構造物の構築マニピュレーション2022/11/1
拡散モデルと物体中心トランスフォーマーを組み合わせ、部分視点の点群と言語ゴールから物理的に妥当な構造物を組み立てる手法を提案。未知物体でも既存手法より平均16%成功率が向上。
- ニューラル記述子場に基づくロバストな変化検出変化検出2022/8/1
カテゴリレベルのニューラル記述子場（NDF）を活用し、部分的な観測や位置推定ノイズに頑健な物体レベルのオンライン変化検出手法を開発した。
- ニューラル音響場の学習音響場表現2022/4/1
シーン内の音の伝播を線形時不変系として捉え、任意の音源・聴取位置の組から神経インパルス応答を連続的に予測するNeural Acoustic Fieldsを提案した論文。
- ニューラル記述子場：操作のためのSE(3)同変物体表現マニピュレーション2021/12/1
物体と把持器などの相対姿勢をカテゴリレベルの記述子で符号化し、自己教師あり学習で訓練して、少ない実演から新しい物体への6自由度操作を実現した研究。
- 視覚的関係の合成を学習するシーン生成2021/11/1
物体間の関係をエネルギー-basedモデルとして表現し、複数の関係を因子分解的に合成することで、シーン生成や編集をより忠実に行える手法を提案した。
- 好奇心駆動の表現学習による身体知能自己教師あり学習2021/5/1
強化学習ポリシーと視覚表現モデルを同時に学習し、ポリシーが表現学習の誤差を最大化するよう探索することで、教師なしで強い表現を獲得するフレームワークCRLを提案。
- 動的シーンの4D表現を学習するニューラル放射フロー4D再構成2020/12/1
RGB画像から動的シーンの3D占有・放射・動きを暗黙的に学習し、多視点レンダリングや動画の超解像・ノイズ除去を可能にする手法を提案。
- 家庭用ロボットのための物体ベース状態推定器の学習物体追跡/状態推定2020/11/1
物体の移動ダイナミクスを考慮し、データ同化フィルタと注意機構付きニューラルネットを組み合わせて、家庭内ロボットが長期にわたり物体の位置を記憶・推定できる物体ベース記憶システムを提案した。
- 剛体点群物体操作のための長期的計画フレームワークマニピュレーション2020/11/1
点群観測から直接、物体モデルなしで剛体操作の長期的計画を解くフレームワークを提案し、物体サブゴール空間での計画とグラフアテンションNNにより未知物体への汎化を実現した。
- エネルギーベースモデルによるモデルベース計画モデルベースRL2019/9/1
エネルギーベースモデル(EBM)をモデルベース強化学習の計画に用い、オンライン学習と最大エントロピー推論により多様な状態計画と未知障害物への汎化を実現した。
