Yao Mu
Shanghai Jiao Tong University
収録論文 115本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 保守的な行動ノイズ方向最適化による残差強化学習強化学習2026/11/3
凍結した生成ポリシーをノイズ空間の方向学習と行動空間の残差で適応させる強化学習手法を提案し、単一空間最適化より高い成功率を達成した。
- スパースポーズ駆動によるヒューマノイド移動操作の動作生成と全身制御ヒューマノイド/全身制御2026/10/21
5つの重要身体ポーズと学習済み動作潜在表現を組み合わせたインターフェースで、VLAモデルが疎なポーズを予測し、動作生成モデルと全身追従制御がリアルタイムに協調全身動作を実現するヒューマノイド移動操作フレームワーク。
- ACE-Brain-0.6：身体性基盤モデルのための空間グラウンディングのスケーリングVLA2026/10/19
ロボット操作記録と多様な視覚データを統合したデータパイプラインで約150万件の検証可能なグラウンディング教師信号を作り、Qwen3.5-9Bを微調整して空間知覚を強化したモデル。7つの公開ベンチマーク中4つでGPT-6 Astraを上回った。
- フィジカルAI：概念・技術・課題の体系化フィジカルAI2026/10/19
フィジカルAIの定義と技術的枠組みを統一的に整理し、知覚から行動までの閉ループやsim2real、安全性などの課題を展望したモノグラフ。
- Coordi-π: 両手巧みな操作のための協調を考慮したデュアルハンド行動表現マニピュレーション2026/10/14
両手の腕と手の行動を交互に並べたトークン列として表現し、手の識別と時間同期を明示的に組み込むことで、両手巧みな操作のVLAモデルの性能を向上させた研究。
- EgoExplorer：人間の移動操作を現場で捉える視覚・運動・触覚の観測装置移動操作データセット2026/10/13
ウェアラブルシステムで100時間分の人間の移動操作を収録し、一人称視点映像と全身運動・手指関節・触覚を同期させたデータセットを構築した。
- EgoMatrix: 一人称視点の人間動画から物理的に忠実な器用ロボット実演を生成模倣学習2026/10/13
一人称視点の人間動画から両手の器用な操作軌道とロボット観測動画を生成し、実機で再生可能にするデータエンジン。
- AutoBio+：動的な実験現象を伴う実環境に近い生物実験室での巧みな操作を評価するベンチマークマニピュレーション2026/10/9
生物実験室での巧みな道具操作を評価するため、炎・蒸気・泡などの動的現象とガウススプラッティング背景を取り入れた14タスクのシミュレーションベンチマークAutoBio+を構築し、並列評価フレームワークを提案した。
- OmniHOI: 単眼人間動画からの巧みな手と物体のインタラクションマニピュレーション2026/10/7
単眼RGB動画から手と物体のインタラクションを再構成し、物理的一貫性を段階的に強制することで、多様な自由度のロボットハンドへ高成功率で転送するパイプラインを提案。
- DexJoCo-X: 多様なロボットハンド操作のための行動表現ベンチマークマニピュレーション2026/10/2
7種類の器用なハンド、6つのタスク、2100のデモを用いて、異なるハンド形態に共通する行動表現を比較評価するベンチマークとツールキットを提案し、統一行動空間と身体性認識エキスパートの有効性を示した。
- SocialHumanoid: ワンステップ発話同期動作生成による表情豊かなヒューマノイド行動発話同期動作生成2026/9/27
発話に同期した感情表現豊かな全身動作をワンステップで生成し、ヒューマノイドロボット上でリアルタイムに実行するシステムを提案。
- RoboFoundry：自己学習型身体性エージェントのためのシステム・アズ・ポリシー進化VLA2026/9/26
エージェントの支援システム全体を一つのポリシーとして捉え、実行経験を検証済みのシステム更新に変換して自己進化させる身体性エージェントフレームワークを提案し、EmbodiedBenchで最先端性能を達成した。
- InternW0: 効率的な実世界インタラクションのための基盤的物理世界モデル世界モデル2026/9/23
上海AI Labが、視覚予測とロボット制御を非対称なvideo-actionアーキテクチャで統合した物理世界モデルInternW0を提案。約7,200時間のデータで学習し、化学合成やピペッティングなどの実世界タスクで評価した。
- 空中把持のための事前進化とタスク整合空中マニピュレーション2026/9/16
空中把持の軌道最適化において、最適化済み動作から軌道事前分布を学習しCEMで進化させ、実行結果を学習するCriticで評価・コスト設計することで、最適化の信頼性と把持性能を向上させた。
- M²Tok: 視覚言語行動モデルのためのマルチヘッド・マルチコードブック離散行動トークン化VLA2026/9/16
連続的な行動信号を複数のヘッドと独立したコードブックで離散トークン化し、再構成誤差を抑えつつVLAモデルの性能を向上させる手法を提案。
- GaussianWAM: 3Dガウス場から世界行動モデルへの幾何学と意味の蒸留VLA2026/8/25
多視点観測から3Dガウス場を介して幾何・意味情報を世界行動モデルに蒸留し、ロボット操作の視覚予測と行動生成を強化する手法を提案。
- PRM-as-a-Judge 1.5: ロボットプロセス評価のためのツールキット評価指標2026/8/14
ロボットの動作動画から詳細な進捗曲線を生成し、失敗側の進捗や回復能力、成功側の実行品質など複数の細かい指標を導出する評価ツールキットを提案した。
- XPolicyLab: ロボットポリシー評価と展開のための統一標準・オープンエコシステムロボットポリシー評価2026/8/1
ロボットポリシーの評価と展開を統一する標準規格とオープンエコシステムを提案し、N個のポリシーとM個の環境の接続コストをO(NM)からO(N+M)に削減した。
- H2R-Bench: ワールドモデルにおける人間からロボットへの操作ビデオ生成のベンチマークビデオ生成/ベンチマーク2026/8/1
人間の操作ビデオをロボットの操作ビデオに変換するクロスエンボディメント生成の性能を評価するベンチマークを提案し、既存モデルの限界を明らかにした。
- DenseReward: 失敗合成によるロボット操作のための高密度報酬学習操作2026/7/1
ロボット操作の強化学習を改善するため、シミュレーションで物理的に現実的な失敗軌道を自動生成し、視覚と言語からフレーム単位の高密度報酬を予測する報酬モデルDenseRewardを提案した。
- 探索・対話・展開可能：オープンワールド移動操作のための視覚駆動型具現化エージェント移動操作2026/7/1
実世界展開可能な移動操作エージェントのためのフレームワークREALを提案し、シミュレーションと実機のギャップを埋める環境とベンチマークを構築、物理ロボットで高い成功率を達成した。
- Enfold: 世界モデルの想像力を予測表現に折り畳み、超効率的な身体制御を実現VLA2026/7/1
生成モデルが未来を構築する過程で得られる中間計算を、現在の視覚と言語指示のみから予測される表現に転移させる手法を提案。推論時に生成器を実行せずに行動予測が可能となり、遅延を大幅削減。
- InternVLA-A1.5: 理解・潜在予測・行動の統合による構成的汎化VLA2026/7/1
ロボット操作のための統一モデルで、事前学習済みVLMの意味理解とビデオ生成モデルの動的予測を活用し、将来予測を潜在コードのクエリ問題として再構成することで、実時間制御を維持しつつ構成的汎化を実現した。
- RxBrain：言語と視覚の推論・想像を統合した身体化認知基盤モデルVLA2026/7/1
身体化認知のための基盤モデルRxBrainを提案。言語による計画構造と視覚による世界状態予測を統合し、単一の計画シーケンスで表現する。
- RoboDojo: 汎用ロボット操作ポリシーの包括的評価のための統合シミュレーション・実世界ベンチマークベンチマーク2026/7/1
シミュレーションと実世界の両方で汎用ロボット操作ポリシーを評価するための統一ベンチマークを提案し、42のシミュレーションタスクと18の実世界タスクで多様な能力を評価する。
- 信頼できる具現化知能に向けて：システムフレームワークと段階的信頼度レベル信頼性評価2026/7/1
具現化知能の信頼性を「持続的な安全な成功」と定義し、モデル・システム・エビデンス・展開の4層からなるフレームワークと段階的信頼度を提案する論文。
- 身体化操作のためのデータピラミッド：サーベイデータ収集/身体化AI2026/7/1
実ロボットデータからシミュレーションデータまで、身体化エージェントの学習に使われる5つのデータ源をピラミッド構造で整理し、各データの特性と組み合わせ方を分析したサーベイ論文。
- Orca：世界は心の中にある世界モデル2026/6/29
Orcaは、マルチモーダルな世界信号から統一された世界潜在空間を学習し、テキスト生成・画像予測・身体動作生成などの下流タスクを軽量デコーダで実現する世界基盤モデルである。
- EventVLA: イベント駆動型視覚証拠メモリによる長期的視覚言語行動ポリシーVLA2026/6/18
長期的なロボット操作タスクで、視覚情報が隠れたり見えなくなったりする問題に対処するため、重要な視覚イベントを予測して記憶する新しいフレームワークEventVLAを提案した。シミュレーションと実機タスクで既存手法より成功率が大幅に向上した。
- ROVE: 強化学習によるヒューマノイド操作のための人間介入の活用ヒューマノイド操作/VLA/強化学習2026/6/15
不完全な人間介入データを用いてヒューマノイドVLAモデルを強化学習で訓練するフレームワークROVEを提案。楽観的価値推定とクロスエンボディ映像を活用し、高価値な行動を優先学習することで実世界の接触を伴う操作タスクで性能を向上させた。
- V2P-Manip: 単眼人間ビデオからの器用操作学習器用操作2026/6/15
単眼の人間デモビデオから、視覚的忠実度と物理的妥当性を両立した軌道を抽出し、器用な操作ポリシーを直接学習するフレームワークを提案。3Dアセット取得、軌道推定、ポリシー学習を統合し、二段階の精緻化で空間整合性と物理一貫性を確保する。
- AHA-WAM：非同期・地平線適応型ワールドアクションモデルと観測誘導コンテキストルーティング操作学習2026/6/8
世界予測と行動実行を異なる時間解像度で行う非同期ワールドアクションモデルを提案し、ロボット操作タスクで性能を向上させた。
- RoboProcessBench: 視覚言語ロボット操作におけるプロセス認識理解のベンチマークVLA/ベンチマーク2026/6/1
ロボット操作の実行過程を静的監視と動的推論の2次元で評価するベンチマークを構築し、12種類の診断質問群と約58kのQAペアを含むデータセットを提供した。既存のVLMがプロセス理解に乏しいことを示し、教師あり微調整による改善効果も検証した。
- dVLA-RL: 離散拡散ビジョン・ランゲージ・アクションモデルに対する軌跡上の強化学習VLA/強化学習2026/6/1
離散拡散型VLAモデルの強化学習を可能にするため、生成過程をマルコフ決定過程とみなし、軌跡の結合確率を目的関数とする手法を提案した。
- SynManDex: 合成人間プレグラスプからの人間らしい器用な把持の合成器用な把持/シミュレーション2026/6/1
人間のプレグラスプを生成し、それをロボットハンドにリターゲットして力閉ループ接触を最適化することで、人間らしく安定した器用な把持を合成するパイプラインを提案。
- DeformGen: 変形操作ポリシー学習のための動力学に基づくトポロジー拡張変形操作2026/6/1
変形物体の操作学習において、物理的に妥当な状態と軌道を生成する動力学ベースのデータ拡張フレームワークを提案した。
- 敵対的姿勢正則化による人間らしいキネマティクスの巧みなピアノ演奏への適用強化学習2026/6/1
強化学習でピアノを弾く高自由度ロボットハンドの不自然な姿勢を、少量の人間の演奏データを使った敵対的学習で人間らしく矯正する手法を提案した。
- EBench: 汎用モバイル操作ポリシーの要素診断ベンチマーク/モバイル操作2026/6/1
単一の成功率スコアを超えて、汎用モバイル操作ポリシーの能力と汎化を多次元で診断するシミュレーションベンチマークを提案し、最新モデルの特性を明らかにした。
- Q-VGM: フローマッチングVLAのオフポリシー強化学習のためのQ値勾配マッチングVLA/強化学習2026/6/1
フローマッチング型VLAポリシーの微調整において、Q関数の勾配を利用して価値改善を効率的に行う新しいオフポリシー強化学習手法Q-VGMを提案した。
- 暗黙的ドリフト方策：条件付き専門家幾何による一段階行動生成模倣学習/行動生成2026/6/1
拡散やフローマッチングに基づく生成行動ポリシーは反復サンプリングが遅いため、一段階生成を提案。訓練時のドリフト補正を明示的なベクトル場推定なしで取り込む暗黙的ドリフト方策(IDP)を導入し、2D・3D・実世界操作タスクで有効性を実証した。
- LIBERO-Safety: 視覚言語行動モデルにおける物理的・意味的安全性の包括的ベンチマークVLA/安全性評価2026/6/1
VLAモデルの安全性を評価するため、パラメトリックな安全ベンチマークと大規模データセットを構築し、8つのVLAモデルと2つの基盤モデルの系統的評価を行った。
- SA-VLA: 状態認識トークナイザによる視覚言語行動モデルの性能向上VLA2026/6/1
ロボットの現在状態を考慮して離散アクショントークンを連続値に復号する状態認識アクショントークナイザを提案し、操作タスクの成功率を大幅に向上させた。
- ImageWAM: 世界行動モデルは本当にビデオ生成が必要か、それとも画像編集だけで十分か？VLA2026/6/1
ビデオ生成に依存する世界行動モデル（WAM）の課題を指摘し、代わりに画像編集モデルを利用したImageWAMを提案。推論時に画像編集のKVキャッシュを行動予測に活用し、計算コストを大幅削減しつつ性能を向上させた。
- PhysForge: 物理に基づくインタラクティブな仮想世界向け3Dアセット生成3Dアセット生成2026/5/6
物理的に正しい3Dアセットを生成するための2段階フレームワークを提案。VLMが物理設計図を作成し、拡散モデルが形状と運動学パラメータを生成する。
- HyperSim: ロバストなロボット操作のための包括的シミュレーションから実世界へのフレームワークsim2real2026/5/1
シミュレーションから実世界への転移を改善するため、高忠実度環境合成、敵対的軌道生成、シミュレーションと実世界の共学習を組み合わせた包括的フレームワークHyperSimを提案し、実世界タスクで高い成功率を達成した。
- Dexora: 高自由度両腕巧緻操作のためのオープンソースVLAVLA/操作2026/5/1
両腕・両手の高自由度操作を対象とした初のオープンソースVLAシステムDexoraを提案し、ハイブリッド遠隔操作とデータ品質を考慮した学習手法により、巧緻操作の成功率を大幅に向上させた。
- π0-EqM: 閉ループ視覚言語行動制御のための平衡マッチングVLA/操作制御2026/5/1
VLAモデルの行動デコーダを平衡マッチングに置き換え、計算資源を状態に応じて適応的に配分し、ロボット操作の成功率を向上させた。
- BORA: オフライン強化学習とオンライン残差適応を橋渡しする実世界巧緻操作VLAモデルVLA/強化学習/巧緻操作2026/5/1
実世界の巧緻操作向けに、オフライン学習で価値関数を構築し、オンラインで人間介入による残差適応を行うVLAモデルの後訓練フレームワークを提案した。
- DexJoCo: MuJoCo上でのタスク指向巧みな操作のためのベンチマークとツールキット巧みな操作2026/5/1
巧みなロボットハンドの操作能力を評価するための、11の機能ベースのタスクとデータ収集システムを含むベンチマークとツールキットを提案し、現代のモデルの性能を分析した。
- Rein3D: パノラマビデオ拡散モデルによる強化学習型3D屋内シーン生成3Dシーン生成2026/4/12
3Dガウススプラッティングとビデオ拡散モデルを組み合わせ、疎な入力から360度の一貫した3D屋内シーンを復元・生成するフレームワークを提案した。
- JailWAM: ロボット制御におけるワールドアクションモデルの脱獄安全性評価2026/4/1
ワールドアクションモデル（WAM）の安全性リスクを評価する初の脱獄フレームワークJailWAMを提案。視覚軌跡マッピングとリスク判別器、二重経路検証により、悪意ある指示による不安全なロボット動作を効率的に検出する。
- HiVLA: 視覚基盤中心の階層型身体化操作システムVLA/操作2026/4/1
高レベルの意味的計画と低レベルの運動制御を分離した階層型VLAシステムを提案し、VLMの推論能力を保ちつつ、拡散トランスフォーマーによる行動生成で長期的なスキル合成と細かい操作を向上させた。
- RMBench：記憶依存型ロボットマニピュレーションのベンチマークと政策設計への洞察マニピュレーション2026/3/1
記憶を必要とするロボット操作タスクを体系的に評価する9タスクのシミュレーションベンチマークRMBenchと、明示的記憶モジュールを持つ操作政策Mem-0を提案し、既存政策の記憶限界と設計指針を明らかにした。
- R3DP: 実時間3D認識ポリシーによる身体的操作マニピュレーション2026/3/1
大規模3D視覚モデルの強力な事前知識を、非同期の高速・低速協調モジュールと軽量な時間特徴予測ネットワークで統合し、実時間性能を保ちながら操作ポリシーの成功率を向上させる手法を提案した。
- ACE-Brain-0: 空間知能を共通の足場とする普遍的身体性知能基盤モデル2026/3/1
多様な身体（自動運転、ロボット、ドローン）を統合する基盤モデルを提案し、空間知能を共通の足場として、専門化と融合を経て高い性能を達成した。
- ManiTwin: データ生成対応デジタルオブジェクトデータセットを10万点に拡張データセット/シミュレーション2026/3/1
単一画像からシミュレーション対応の3Dアセットを自動生成するパイプラインを構築し、10万点の高品質アセットデータセットを提供する論文。
- DexHiL：巧みな操作のための視覚-言語-行動モデル事後学習における人間参加型フレームワークマニピュレーション2026/3/1
腕と多指ハンドの協調操作を可能にする人間参加型フレームワークを提案し、実行中の人間による修正を活用した事後学習で成功率を平均25%向上させた。
- RoboClaw: 長期的ロボットタスクのためのスケーラブルなエージェント型フレームワークVLA/長期的タスク2026/3/1
RoboClawは、データ収集・ポリシー学習・タスク実行を単一のVLM駆動コントローラで統合し、自己リセット機構により人間の介入を最小限に抑えつつ長期的タスクを自律的に実行するロボットフレームワークを提案する。
- 受動的観察者から能動的批評家へ：強化学習がロボット操作のプロセス推論を引き出すマニピュレーション2026/3/1
ビデオMLLMを受動的な観察者から能動的な批評家へと変えるため、結果ベースの強化学習を用いてプロセス推論を誘発する7BフレームワークPRIMO R1を提案し、長期的ロボット操作の進捗監視性能を大幅に向上させた。
- SldprtNet: 言語駆動3D設計におけるCAD生成のための大規模マルチモーダルデータセットCAD生成/データセット2026/3/1
産業部品24万点以上を含む、CADモデル生成用の大規模マルチモーダルデータセットを構築し、画像とテキストを組み合わせた入力がCAD生成に有効であることを示した。
- UniVTAC: 視触覚マニピュレーションのデータ生成・学習・評価を統合するシミュレーションプラットフォーム視触覚/マニピュレーション2026/2/1
3種類の視触覚センサに対応したシミュレーション基盤で接触データを大量生成し、視触覚エンコーダと8タスクのベンチマークを提供して、触覚駆動型マニピュレーションの学習と評価を可能にした。
- CLOT: 全身ヒューマノイド遠隔操作のための閉ループ大域モーショントラッキング遠隔操作2026/2/1
高頻度の自己位置推定フィードバックにより、全身ヒューマノイド遠隔操作における大域的な姿勢ドリフトを解消する閉ループ追従システムを提案し、実機で高精度・高ロバストな動作を実現した。
- マルチエージェントロボットシステム（MARS）チャレンジの進歩と革新マルチエージェント2026/1/1
NeurIPS 2025ワークショップで開催されたMARSチャレンジを紹介し、VLMを用いたマルチエージェントの計画とロボットマニピュレーションの制御という2領域での取り組みを概説した論文。
- MM-ACT: マルチモーダル並列生成から行動を学習する統合VLAモデルVLA2025/12/1
テキスト・画像・行動を共有トークン空間で統合し、並列デコードで生成するVLAモデルを提案。LIBEROや実機Franka、RoboTwin2.0で高い成功率を達成した。
- FieldGen: 遠隔操作の前操作軌道からフィールド誘導データ生成へデータ生成2025/10/1
操作を前操作段階と精密操作段階に分け、人間の実演から引力場を構築して多様な軌道を自動生成することで、少ない人手で高品質な実世界データを収集する枠組みを提案。
- 専門性は独占する必要なし：視覚-言語-行動学習のための行動特化型Mixture of ExpertsVLA2025/10/1
事前学習済みVLAモデルの重みを継承し、フィードフォワード層をスパースなMoE層に置き換えて拡張するAdaMoEを提案。専門家選択と重み付けを分離することで協調的な専門家利用を実現し、計算効率を保ちつつ性能を向上させた。
- InternVLA-M1: 空間誘導型視覚-言語-行動フレームワークによる汎用ロボットポリシーVLA2025/10/1
空間グラウンディングを手がかりに「どこで行動するか」と「どう行動するか」を二段階で学習し、汎用ロボット制御を実現するVLAフレームワークを提案。
- SimpleVLA-RL：強化学習によるVLAモデル訓練のスケーリングVLA2025/9/1
VLAモデル向けの効率的な強化学習フレームワークを提案し、大規模データへの依存を減らしつつLIBEROやRoboTwinで高性能を達成した。
- 離散拡散VLA：視覚言語行動ポリシーの行動デコーディングに離散拡散を導入VLA2025/8/1
行動チャンクを離散化し、統合トランスフォーマー内で離散拡散により並列デコーディングするVLAを提案。適応的なデコーディング順序と再マスキングで誤り訂正を行い、LIBEROやSimplerEnvで高い成功率と事前学習能力の保持を実現した。
- HyCodePolicy：身体性エージェントにおけるマルチモーダル監視と意思決定のためのハイブリッド言語コントローラVLA2025/8/1
自然言語指示からコードを生成し、視覚言語モデルによる実行監視とコード修復を組み合わせて、ロボット操作タスクを自己修正しながら遂行するハイブリッド制御フレームワークを提案。
- PASG：ロボットマニピュレーションにおける幾何プリミティブの自動抽出と意味的アンカリングのための閉ループフレームワークマニピュレーション2025/8/1
物体の幾何プリミティブを自動抽出し、VLMで機能的アフォーダンスと結びつける閉ループ手法を提案。多様なマニピュレーションタスクで手動アノテーションに匹敵する性能を実現した。
- ArtGS: 3Dガウシアンスプラッティングによる関節物体の視覚・物理モデリングと操作マニピュレーション2025/7/1
3Dガウシアンスプラッティングに視覚言語モデルと微分可能レンダリングを組み合わせ、関節物体の構造を推定して操作方策を最適化するフレームワークを提案。
- FMimic: 基盤モデルによる人間動画からの細粒度行動学習模倣学習2025/7/1
少数の人間動画から基盤モデルを用いてロボットの細かい行動スキルを直接学習する手法を提案し、RLBenchや実世界タスクで大幅な性能向上を達成した。
- V2X協調自動運転のエンドツーエンド競技会：研究課題と進展V2X協調自動運転2025/7/1
V2X通信を活用した協調自動運転のエンドツーエンド競技会を開催し、帯域制約下での知覚・計画の課題と上位解法の傾向を分析した。
- RoboTwin 2.0：強力なドメインランダム化を備えた両腕ロボット操作のためのスケーラブルなデータ生成器とベンチマークsim2real2025/6/1
両腕ロボット操作のための大規模データ生成フレームワークを提案し、マルチモーダル言語モデルによるタスク生成と5軸のドメインランダム化で実世界への転移性能を大幅に向上させた。
- OWMM-Agent：マルチモーダルなエージェントデータ合成によるオープンワールド移動マニピュレーション移動マニピュレーション2025/6/1
オープンワールド移動マニピュレーションのためのマルチモーダルエージェントアーキテクチャと、VLMをファインチューニングするデータ合成パイプラインを提案し、実世界でSOTA性能と汎化を実現した。
- 汎化可能な両腕マニピュレーションのベンチマーク：CVPR 2025 MEISワークショップにおけるRoboTwin両腕協調チャレンジマニピュレーション2025/6/1
RoboTwinシミュレーションと実機ロボットを用いた両腕マニピュレーションの国際コンペを開催し、17タスクで64チームが競い、汎化可能な協調方策の知見をまとめた。
- RADE: マルチエージェント条件付き拡散によるリスク調整可能な運転環境の学習自動運転シミュレーション2025/5/1
マルチエージェント拡散モデルで交通参加者全員の挙動をリスク指標に条件付けて生成し、現実的な統計特性を保ちながら危険度を調整できる自動運転テスト用シミュレーションを提案した。
- AutoBio：デジタル生物学実験室におけるロボット自動化のためのシミュレーションとベンチマークsim2real2025/5/1
生物学実験室でのロボット自動化を評価するためのシミュレーションフレームワークとベンチマークAutoBioを提案し、言語誘導型マニピュレーションの課題を明らかにした。
- SwarmDiff: 拡散トランスフォーマによる混雑環境下の群ロボット軌道計画群制御2025/5/1
群ロボットのマクロ状態を確率密度関数で表し、条件付き拡散モデルとDiffusion Transformerでリスクを考慮した軌道を生成する階層的フレームワークを提案。
- 模倣学習による巧みなマニピュレーション：サーベイマニピュレーション2025/4/1
ロボットハンドの巧みな操作を模倣学習で実現する手法を体系的にまとめ、課題と今後の研究方向を論じたサーベイ論文。
- RoboTwin: 生成デジタルツインによる双腕ロボットベンチマーク双腕マニピュレーション2025/4/1
3D生成基盤モデルと大規模言語モデルを活用し、多様な専門家データセットと実世界に即した評価プラットフォームを提供する双腕ロボットタスク向けの生成デジタルツインフレームワークを提案。
- AgiBot World Colosseo：スケーラブルで知能的な身体性システムのための大規模マニピュレーションプラットフォームマニピュレーション2025/3/1
100万以上の軌道と217タスクを含む大規模ロボット操作データセットと、潜在行動表現を活用した汎用方策GO-1を提案し、データ規模の拡大に伴う性能向上と実世界での巧みな長期的タスクの成功率向上を示した。
- AVR: 視点と焦点距離の最適化による能動視覚駆動型精密ロボットマニピュレーションマニピュレーション2025/3/1
頭部追跡による視点制御と電動ズームを組み合わせた両腕遠隔操作・学習フレームワークAVRを提案し、シミュレーションと実機で成功率を大幅に向上させた。
- AINav: 大規模言語モデルを用いた適応的インタラクティブナビゲーションナビゲーション2025/3/1
LLMによるタスク計画と強化学習によるスキルライブラリを組み合わせ、環境と能動的に相互作用して経路を切り開く適応的ナビゲーション手法を提案。
- RoboBrain：抽象的から具体的へと至るロボット操作のための統合脳モデルVLA2025/2/1
ロボット操作に必要な計画・アフォーダンス知覚・軌道予測を統合したMLLMベースの脳モデルRoboBrainを提案し、多次元情報を付与した大規模データセットShareRobotで訓練して最先端性能を達成した。
- SafeDrive: 大規模言語モデルを用いた自動運転車の知識・データ駆動型リスク感受意思決定自動運転/LLM意思決定2024/12/1
リスク評価・記憶・LLM推論・反省の4モジュールを組み合わせ、動的で高リスクな環境でも安全な自動運転の意思決定を実現するフレームワークを提案し、実世界データセットで100%の安全率と85%超の人間らしい判断一致を達成した。
- M³PC：事前学習済みマスク付き軌道モデルのためのテスト時モデル予測制御オフライン強化学習2024/12/1
マスク付き自己符号化で事前学習した軌道モデルを、推論時にモデル予測制御（MPC）で活用し、追加学習なしで意思決定性能を向上させる手法を提案。
- G3Flow: 姿勢を考慮した汎化可能な物体操作のための生成的3Dセマンティックフローマニピュレーション2024/11/1
基盤モデルを活用して物体中心の動的な3Dセマンティック表現をリアルタイムに構築し、拡散ポリシーに組み込むことで、遮蔽下でも意味理解を可能にし、操作と物体間汎化を改善した。
- DexHandDiff: 適応的巧みな操作のための相互作用を考慮した拡散計画マニピュレーション2024/11/1
接触を伴う巧みな操作のための拡散計画フレームワーク。接触前後の二段階拡散とLLMによるガイダンス生成で、訓練分布外の目標にも適応できる。
- VLMimic: 視覚言語モデルによる細粒度動作の視覚的模倣学習模倣学習2024/10/1
少数の人間動画から、視覚言語モデルを用いて細かい動作レベルまで直接学習し、ロボットの模倣学習を効率化する手法を提案。
- EMOS: 身体性を考慮した異種マルチロボットOSとLLMエージェント群制御2024/10/1
異種ロボット群がURDFから自身の身体能力を理解し、LLMエージェントが協調して操作・知覚・ナビゲーション・物体再配置を行うフレームワークとベンチマークを提案。
- Cog-GA: 大規模言語モデルによる連続環境での視覚言語ナビゲーション生成エージェントVLA2024/9/1
大規模言語モデルを基盤に、認知マップ構築・ウェイポイント予測・二チャネル場面記述・反省機構を組み合わせ、連続3D環境での視覚言語ナビゲーションを人間らしく効率的に行う生成エージェントを提案した。
- RoboTwin: 生成的デジタルツインによる双腕ロボットベンチマーク双腕マニピュレーション2024/9/1
3D生成モデルと大規模言語モデルを活用し、単一の2D画像から多様な物体のデジタルツインを生成して双腕ロボットの専門家データセットと実世界に即した評価ベンチマークを提供するフレームワークを提案。
- SAM2ベースのトラッキングとオンライン軸推定による関節物体マニピュレーションマニピュレーション2024/9/1
SAM2で動的部分を追跡しながら3D点群から関節軸をオンライン推定し、関節物体を閉ループで操作する手法を提案した論文。
- HiAgent: 大規模言語モデルによる長期タスク解決のための階層的ワーキングメモリ管理LLMエージェント2024/8/1
サブゴールを記憶のチャンクとして用い、LLMエージェントのワーキングメモリを階層的に管理することで、長期タスクの成功率を2倍に向上させた。
- CAMON: LLM対話による協調型マルチエージェント物体探索ナビゲーションマルチエージェントナビゲーション2024/7/1
複数ロボットがLLMを用いた対話で役割分担とリーダー交代を行い、家庭内で複数の物体を効率的に探索・ナビゲーションする分散型フレームワークを提案。
- DAG-Plan: 双腕協調プランニングのための有向非巡回依存グラフ生成双腕マニピュレーション2024/6/1
自然言語指示をLLMで有向非巡回グラフ(DAG)に変換し、双腕ロボットの並列実行と適応的なタスク割り当てを実現するプランニング手法を提案した。
- 自己整合による大規模言語モデルを用いたロボットスキルの報酬学習報酬学習2024/5/1
LLMが提案した報酬関数を、実行フィードバックに基づく自己整合プロセスで反復的に調整し、人間なしで効率的にロボットスキルの報酬を学習する手法を提案した。
- ManiPose: 姿勢を考慮した物体操作のための包括的ベンチマークマニピュレーション2024/3/1
物体の6D姿勢に応じて把持や操作を適応させる「姿勢考慮型物体操作」の研究を進めるため、シミュレーション環境・大規模データセット・LLM活用ベースラインを提供するベンチマークを構築した。
- RoboScript: 実機とシミュレーションをまたぐ自由形式マニピュレーションのためのコード生成マニピュレーション2024/2/1
ROS抽象化に基づく統一インターフェースで、コード生成による実機・シミュレーション両対応のロボットマニピュレーションパイプラインと自由記述タスクのベンチマークを提案。
- RoboCodeX：ロボット行動合成のためのマルチモーダルコード生成VLA2024/2/1
人間の指示を物体中心の操作単位に分解し、コード生成でロボットの行動を合成するフレームワークを提案。シミュレータと実機で操作・ナビゲーションタスクの最先端性能を達成。
- DOZE: 動的環境におけるオープン語彙ゼロショット物体ナビゲーションのためのデータセットナビゲーション2024/2/1
動く障害物や多様な物体、テキスト手がかりを含む高忠実度3Dシーンと18k以上のタスクからなるゼロショット物体ナビゲーション用データセットを提案し、既存手法の課題を明らかにした。
- VoroNav: 大規模言語モデルを用いたボロノイベースのゼロショット物体ナビゲーションナビゲーション2024/1/1
リアルタイム構築したセマンティックマップから縮約ボロノイグラフで探索経路を抽出し、経路と遠景の記述をLLMに与えて常識推論でウェイポイントを決定するゼロショット物体ナビゲーション手法を提案。
- SkillDiffuser: スキル抽象化による解釈可能な階層的拡散計画拡散計画2023/12/1
視覚と言語から人間に理解可能なスキルを学習し、そのスキルで条件付けした拡散モデルで長期タスクの軌道計画を階層的に行う手法を提案。
- LanguageMPC：大規模言語モデルを自動運転の意思決定者として活用自動運転2023/10/1
大規模言語モデル（LLM）に常識推論させて自動運転の意思決定を行い、その判断を低レベル制御器に変換して車両制御に統合する手法を提案した論文。
- ロボットマニピュレーションのための人間指向表現学習マニピュレーション2023/10/1
人間の知覚スキルを模したマルチタスク微調整とTask Fusion Decoderにより、視覚エンコーダの表現をロボット操作タスク向けに改善する手法を提案。
- Tree-Planner: 大規模言語モデルによる効率的なクローズドループタスクプランニングタスクプランニング2023/10/1
LLMを用いたタスクプランニングを計画サンプリング・行動木構築・接地判断の3段階に再構成し、トークン消費を92.2%削減しつつ最先端性能を達成した。
- EmbodiedGPT: 身体性チェーン・オブ・ソートによる視覚言語事前学習VLA2023/5/1
Ego4D動画と思考の連鎖で作った大規模計画データセットEgoCOTを用い、7B LLMを接続したマルチモーダル基盤モデルを学習し、高レベル計画と低レベル制御を統合した。
- AdaptDiffuser: 適応的自己進化型プランナーとしての拡散モデル拡散モデルプランニング2023/2/3
拡散モデルを報酬勾配で誘導して合成専門データを生成し、識別器で選別して微調整することで、未知タスクにも適応できる自己進化型プランニング手法を提案した。
- EUCLID: マルチチョイス動力学モデルによる効率的な教師なし強化学習教師なし強化学習2022/10/1
教師なし強化学習において、動力学モデルと探索方策を同時に事前学習する新しい枠組みを提案し、下流タスクのサンプル効率を向上させた。
- CO^3: 自動運転のための協調的教師なし3D表現学習3D表現学習2022/6/1
車載とインフラ側のLiDAR点群を協調させた教師なし対比学習と形状文脈予測により、屋外3D表現を学習し、検出タスクへの転移性能を向上させた。
- 分離型PIラグランジュによるモデルベース機会制約付き強化学習安全強化学習2021/8/1
安全確率を制御出力とみなし、ペナルティ法とラグランジュ法を比例・積分制御として統合した分離型PIラグランジュ法を提案し、振動や保守性を抑えつつ実機移動ロボットの障害物回避に適用した。
- 仮想記憶で安定して運転を学習する自動運転/強化学習2021/2/1
高次元の画像入力から潜在状態と潜在ダイナミクスモデルを学習し、想像上の軌跡を仮想記憶として方策学習に用いることで、データ効率と学習安定性を高めた自動運転向け強化学習手法を提案した。
- 環境モデルと実データを併用する混合強化学習強化学習2020/3/1
環境モデルと実測の状態行動データを同時に使って方策を探索し、モデル不確かさをベイズ推定で補償することで学習精度と速度を両立させる混合強化学習を提案した論文。
