Cewu Lu
Shanghai Jiao Tong University
収録論文 132本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- SWAM: クロスモーダル整合で世界行動モデルをスケールするVLA2026/11/9
約4.7万時間の動画・ロボット実演データを用い、言語-映像-行動の監督設計が世界行動モデルの性能に与える影響を体系的に分析し、効率的な学習レシピを提案した論文。
- 視覚意味論と4D幾何を統合した世界行動モデルUniFlowWAMVLA2026/10/22
3Dシーンフローを視覚・行動と対等な第三のモダリティとして扱い、拡散トランスフォーマーで統合した世界行動モデル。ポリシーや順/逆ダイナミクスなど多役割を単一モデルで実現し、シミュレーションと実機双腕操作で有効性を示した。
- 物理に基づくノイズ分離と意味・幾何協調による現実的な深度学習sim2real2026/10/21
深度ノイズを「センシング無効化」と「測定不正確さ」に物理的に分離し、3D基盤モデルの特徴を活用して現実的なノイズ付き深度を合成するPRISMを提案。実機ロボットで92.1%の成功率を達成。
- 奥行きに基づく状態表現を学習するDepState-JEPA：視覚認識とマニピュレーションVLA2026/10/21
RGBと深度の二重ストリームで共有潜在状態DepStateを学習し、行動条件付き予測と操作タスクの性能を向上させるJEPA型フレームワークを提案。
- 価値を記憶として：汎用ロボットポリシーのためのオンライン価値誘導型ポストトレーニング強化学習2026/10/15
価値予測を記憶として活用し、オフライン実演とオンライン強化学習を組み合わせることで、汎用ロボットポリシーを実世界で効率的に適応させるフレームワークVaMを提案。
- 統一因果学習下で世界モデルと行動モデルは相互に利益をもたらすか？VLA2026/10/15
行動を条件とした世界予測と政策学習を同一の映像・行動アーキテクチャで統合するOneWMを提案し、世界モデリングと行動生成が相互に性能を高め合うことを実機実験を含めて示した。
- ObjDream: 物体レベル理解と未来状態予測で視覚-言語-行動モデルを導くVLA2026/10/14
物体中心の時空間エンコーダと行動条件付き未来状態予測を組み合わせ、分布シフトや clutter に強い VLA モデルを実現した研究。
- 接触軌道プロンプティング：単一実演からの接触を伴う動作の文脈内転移マニピュレーション2026/10/13
単一の実演から接触を伴うマニピュレーション動作をワンショットで転移するため、動作と接触情報を時系列の接触軌道プロンプトとして符号化し、オンライン感覚フィードバックで参照する枠組みを提案した。
- ForceWAM: 接触を伴う操作のためのデモとプレイデータから未来予測と応答学習を分離する力世界行動モデルマニピュレーション2026/10/13
成功デモから未来の映像と6軸力覚を予測する世界モデルと、デモとタスク非依存のプレイデータから行動を学ぶ逆動力学モデルを分離し、接触の多い操作を高成功率で実現した研究。
- RoboRSI：複雑な実世界環境における安定・効率的・再利用可能なロボット自己進化ロボット自己進化2026/10/8
タスクをスキル階層に分解し、実行結果を責任スキルに帰属させて検証済みの改善のみを再利用するロボット自己改善システムを提案。実機の家庭内片付け104ラウンドと各種シミュレータで最高性能を達成。
- RoboPrompt：スパースな人間入力による直感的ロボット方策ステアリングVLA2026/10/7
描いた軌跡や目標点などの簡潔な人間入力から行動の下書きを作り、ベース方策の拡散・フローマッチング過程で洗練させることで、方策を再学習せずに操舵可能にする汎用システム。
- FP2: ロボット基盤モデルに力制御を付与する軽量インターフェース力制御2026/9/29
タスク適応済みのロボット基盤モデルに、高頻度の力制御ポリシーを組み合わせて接触の多い操作を安定化させる軽量な下流インターフェースFP2を提案し、実機4タスクで性能と力調整の品質を改善した。
- HIRE: 視覚的に曖昧な精密マニピュレーションのための履歴条件付きインタラクション推論と高速実行マニピュレーション2026/9/25
力覚の履歴から接触状態を推論する低レート推論器と、接触動作を高レートで精密実行する実行器を組み合わせ、見た目が同じでも状態が異なる精密操作を実現したフレームワーク。
- PredActor: 予測的行動拡散による操縦可能なオンボードヒューマノイド制御ヒューマノイド制御2026/9/21
固有感覚のみを用いて行動と将来状態軌道を同時生成し、テスト時にも目標へ操縦できるヒューマノイド制御ポリシーを提案。
- 視覚運動ポリシーにおける視覚的身体依存性の再考VLA2026/9/15
視覚運動ポリシーがロボットの見た目に依存しすぎる問題（VED）に対し、3D点群で身体を正規化する手法を提案し、人間からロボットへの転移性能を向上させた。
- Track4Action: 世界中心の3Dトラッカーを視覚言語行動ポリシーに蒸留するVLA2026/8/1
行動ラベルにはロボットの動作指示しか含まれないが、デモ動画のフレーム遷移には3D世界の変化が含まれる。この遷移を凍結した3Dトラッカーから蒸留し、推論時にトラッカー不要のVLAポリシーを学習するフレームワークを提案。シミュレーションと実機で精度が向上した。
- 疲労を考慮したキャラクター制御キャラクターアニメーション2026/8/1
物理シミュレーションで人間らしい動きを再現するため、疲労を有限なエネルギー源の代理として導入し、疲労状態に応じた一般的な動作模倣ポリシーを獲得した。
- 解析的概念による明示的運動学的ガイダンスを用いた視覚言語行動モデルVLA2026/7/1
VLAモデルに3D構造情報を組み込むため、物体を明示的なプログラム的設計図として表現する解析的概念を構築し、密な報酬と空間的ガイダンスで微調整を支援する手法を提案した。
- AnyDexRT: 較正不要で数回の人間ガイダンスによる器用な手のリターゲティング遠隔操作/リターゲティング2026/7/1
AnyDexRTは、人間の手の動きをロボットハンドにマッピングする際に、較正や手動調整を不要にし、数回の人間の指示で直感的な遠隔操作を実現する手法を提案した。
- 力の注入に遅すぎることはない：反応的力注入によるVLAポストトレーニングの加速VLA/力覚/接触操作2026/7/1
事前学習済みの視覚言語行動（VLA）ポリシーに、接触反応性を追加するフレームワークLIFTを提案。力覚メモリとゼロ初期化クロスアテンションで反応的アクション専門家を移植し、オンラインDAggerループで分布シフトに対処。タオル折り、本挿入、ハノイの輪配置で性能向上を実証。
- 遅延対応ガイダンス融合による非同期マルチモーダル拡散ポリシー合成模倣学習/拡散ポリシー/マルチモーダル2026/7/1
異なるセンシングレートや推論遅延を持つ複数のモダリティを、各ポリシーが本来の速度で動作しつつ遅延を補正して融合するフレームワークLAG-Fusionを提案し、接触を伴う操作タスクで有効性を示した。
- FA-RDP: 接触を伴う操作のための周波数適応型リアクティブ拡散ポリシーマニピュレーション2026/7/1
接触前後の異なるフェーズで必要とされる動作の多様性と反応性のトレードオフを解決するため、周波数適応型の拡散ポリシーを提案。接触前は低周波・多段サンプリングで多様性を保持し、接触後は高周波・一段サンプリングで素早い反応を実現する。
- 多様な経験によるスケーリング：視覚言語行動モデルのための手法VLA2026/6/8
視覚言語行動モデルの実世界展開における課題を解決するため、意図分離アルゴリズムと類似サンプル誘導型強化学習を導入し、ロボットタスクとマルチモーダルベンチマークで優れた性能を達成した。
- ロボット操作における関節部品知覚の再考知覚/操作2026/6/6
関節部品の幾何学的構造を抽象化した「GPS」表現を提案し、VRデバイスで1分間の注釈で高品質なデータを収集、単一RGB-D画像から汎用的なGPSモデルを学習して操作に応用した。
- ChronoFlow-Policy: 視覚運動ポリシー学習における過去・現在・未来の相互作用フローの統合VLA2026/6/1
物体とグリッパーの3Dキーポイントを用いて過去・現在・未来の相互作用ダイナミクスを統一的に表現するChronoFlowを導入し、これを拡散ベースの視覚運動ポリシーと共学習させることで、長期的・非マルコフ的操作タスクでの性能を向上させた。
- FTP-1: 触覚センサを横断する接触リッチ操作のための汎用基盤触覚ポリシー触覚/基盤モデル2026/6/1
多様な触覚センサとロボット構成に対応する初の汎用基盤触覚ポリシーFTP-1を提案し、約3000時間のデータで事前学習して未見センサへの転移を実証した。
- 分析的概念中心メモリによるエージェント型身体操作マニピュレーション2026/6/1
長期的な身体操作タスクのために、物体の状態やスキルを構造化された概念で記憶・検索するメモリフレームワークを提案し、タスク成功率や汎化性能を向上させた。
- OpenEAI-Platform: オープンソースの具現化人工知能ハードウェア・ソフトウェア統合プラットフォームVLA/ロボットアーム/オープンソース2026/6/1
低コストの6+1自由度ロボットアームと再現可能なVLAモデルを統合した完全オープンソースのプラットフォームを提案し、実世界の操作タスクで商用アームや大規模事前学習モデルと同等以上の性能を示した。
- GeoAlign: セマンティクスを超えた状態誘導による空間的位置合わせをVLAモデルに導入VLA2026/6/1
VLAモデルにロボットの状態情報を利用した幾何学的特徴の位置合わせ機構を導入し、操作タスクの成功率を向上させた。
- PO-PDDL: 視覚デモから記号的POMDPを学習し不確実性下でのロボット計画を実現計画/不確実性2026/6/1
実ロボットの視覚デモから、部分観測と確率的行動を扱える記号的POMDPモデルを自動学習し、不確実性下でのタスク計画を可能にする手法を提案した。
- X-Imitator: 双方向アクション・ポーズ相互作用による空間認識模倣学習模倣学習2026/5/1
空間認識と行動生成を双方向ループで結びつけ、相互に洗練させる新しい模倣学習フレームワークを提案。24のシミュレーションと3つの実世界タスクで性能を実証した。
- ActiveGlasses: 自己中心的な人間のデモから能動視覚で操作を学習する操作学習2026/4/1
スマートグラスに取り付けたステレオカメラで人間のデモを収集し、同じカメラをロボットの知覚アームに搭載して能動視覚を再現することで、ロボット操作をゼロショット転移で学習するシステムを提案した。
- LIDEA: 暗黙的特徴蒸留と明示的幾何学的整合による人間からロボットへの模倣学習模倣学習2026/4/1
人間のデモ動画を利用してロボットの模倣学習を効率化するため、2D特徴蒸留と3D幾何学的整合を組み合わせたフレームワークLIDEAを提案した。
- VTAM：視覚と言語を超え、触覚を統合したビデオ・触覚・行動モデルVLA2026/3/1
映像から行動を予測するVAMに触覚を追加し、接触の多い繊細な操作を安定化させるマルチモーダル世界モデルを提案。ポテトチップスの把持などで大幅な性能向上を実現。
- カメラ選択の再考：ロボット操作における魚眼カメラ特性の実証研究模倣学習/カメラ特性2026/3/1
ロボット操作における手首搭載魚眼カメラの特性を、シミュレーションと実世界の実験で体系的に分析し、空間定位、シーン汎化、ハードウェア汎化への影響を明らかにした。
- RL強化テレオペレーションと巧みな専門家混合VLAによる人間らしい操作の実現VLA/巧緻操作/触覚2026/3/1
高自由度の両手巧緻操作を可能にするため、RLで訓練した原子スキルによるデータ収集支援と、触覚・力覚を統合したVLAアーキテクチャを提案し、接触を伴う複雑タスクで成功率を2倍に向上させた。
- LaMP: 3Dシーンフローを潜在運動事前分布として用いる視覚-言語-行動ポリシーの学習VLA2026/3/1
3Dシーンフローを潜在的な運動事前分布として組み込んだ二重エキスパート型VLAフレームワークを提案し、LIBEROや実機実験で従来手法を上回る成功率とOOD頑健性を達成した。
- ForceVLA2: 力認識によるハイブリッド力-位置制御で接触を伴う操作を実現VLA/操作2026/3/1
接触を伴う操作のための視覚言語行動モデルに、力認識とハイブリッド力-位置制御を導入し、成功率を大幅に向上させた。
- I-Perceive: 言語指示に基づく能動的知覚のための基盤モデル能動的知覚2026/3/1
ロボットが言語指示に従って視点を能動的に調整する能動的知覚の基盤モデルを提案し、大規模環境でのオープンエンドな指示に応じたカメラ視点予測を実現した。
- RoboPocket: スマホでロボットポリシーを即座に改善模倣学習2026/3/1
スマートフォンとARを用いて、物理ロボットを使わずに模倣学習のデータ収集を効率化し、ポリシーを即時改善するシステムを提案した論文。
- 力方策：接触リッチ操作のための相互作用フレーム下でのハイブリッド力・位置制御方策の学習マニピュレーション2026/2/1
視覚で自由空間動作を導き、接触時には力フィードバックを用いた高頻度ローカル方策が相互作用フレームを推定してハイブリッド力・位置制御を行う、グローバル・ローカル視覚力方策を提案。
- UniPlan: 統合PDDL定式化による移動マニピュレーションの視覚言語タスクプランニングVLA2026/2/1
大規模屋内環境での長期的な移動マニピュレーションのため、シーン構造・視覚情報・ロボット能力をPDDLに統合し、VLMで物体を接地して既存のPDDLソルバで計画を生成するシステムを提案した。
- 軌道ではなく意図を模倣せよ模倣学習2026/2/1
模倣学習において、行動の意図と実行の詳細を周波数空間でのマルチスケールトークン化により分離し、意図トークンを用いた転移と適応を可能にする手法MINTを提案。
- どんな家でもどんなタスクでも：抽象的ヒューマンタスクのためのスケーラブルな長期計画タスク計画2026/2/1
大規模家庭環境での曖昧な指示に対応するため、LLMで指示とシーングラフをPDDLサブゴールに変換し、記号推論で長期計画を生成する手法AHATを提案。中間推論の外部修正をGRPOに統合したTGPOで性能を向上。
- HiWET: 長期的なヒューマノイド移動操作のための階層型ワールドフレームエンドエフェクタ追従移動操作2026/2/1
ヒューマノイドの移動操作をワールド座標系でのエンドエフェクタ追従問題として再定式化し、高レベル方策がサブゴールを生成、低レベル方策が安定性制約下で実行する階層型強化学習フレームワークを提案。運動学的マニフォールド事前分布により探索を効率化し、実機へのゼロショット転移も実証した。
- ImplicitRDP: 構造的スローファスト学習による視覚-力覚拡散ポリシーVLA2025/12/1
視覚と力覚を単一ネットワークで統合し、非同期トークンを因果注意で処理する拡散ポリシーを提案。接触の多い操作タスクで高い反応性と成功率を実現した。
- RealD²iff: 深度拡散によるロボットマニピュレーションの実世界ギャップの橋渡しsim2real2025/11/1
拡散モデルでシミュレーションのクリーンな深度から実機のようなノイズ深度を合成し、実機データ収集なしでゼロショットsim2realマニピュレーションを実現した研究。
- 効率的な視覚運動学習のためのL1サンプルフロー模倣学習2025/11/1
フローマッチングの多峰性を保ちつつ、L1回帰の効率性を活かすため、2ステップでサンプリングするL1 Flowを提案し、模倣学習ベンチマークで有効性を示した。
- VLMの洞察と精密マニピュレーションを繋ぐ実行可能な解析概念マニピュレーション2025/10/1
VLMの高レベル推論を、数学的に定義された「実行可能な解析概念」を介して把持姿勢や力方向・軌道計画に変換し、未学習の物体でも精密操作を可能にするフレームワークGRACEを提案。
- ARMADA: 自律的オンライン失敗検出と人間共有制御によるスケーラブルな実世界展開と適応sim2real2025/10/1
模倣学習ポリシーの実世界展開において、オンライン失敗検出(FLOAT)と人間共有制御を組み合わせ、必要な時だけ人間が介入するマルチロボット適応システムを提案。成功率4倍以上、人間介入率2分の1以下を実現。
- FSGlove：形状認識キャリブレーションを備えた慣性式ハンドトラッキングシステム触覚2025/9/1
各指関節と手背にIMUを装着し、最大48自由度の手の動きを追跡しながら、微分可能最適化によるキャリブレーションで個人の手形状も同時に再構成する慣性式モーションキャプチャシステムを提案した。
- SOE: 多様体上探索によるサンプル効率の良いロボット方策の自己改善マニピュレーション2025/9/1
タスクに関連する要因を潜在空間で表現し、有効な行動の多様体上に探索を制約することで、安全かつ効率的にロボット方策を自己改善するフレームワークを提案した。
- 量子化された手の状態で巧みなマニピュレーションを学習するマニピュレーション2025/9/1
手の状態を量子化してコンパクトに表現し、腕の動作と統合的に拡散させることで、腕と手の協調を効率的に学習する視覚運動方策DQ-RISEを提案した。
- 裏返しロボット：ゼロショットSim-to-Realによる衣類の裏返し操作マニピュレーション2025/9/1
衣類を裏返す動的で遮蔽の多いタスクを、タスク分解とGPU並列MPMシミュレータによる自動データ生成で解決し、実機で最大81.3%の成功率を達成したゼロショットsim-to-realフレームワーク。
- TrajBooster: 軌道中心学習によるヒューマノイド全身マニピュレーションの強化VLA2025/9/1
車輪型ヒューマノイドの豊富なデータを活用し、エンドエフェクタ軌道を形態非依存のインターフェースとして二足歩行ヒューマノイドのVLAを効率的に学習させるフレームワークを提案。
- 点追跡による履歴認識型視覚運動ポリシー学習マニピュレーション2025/9/1
点追跡を用いて過去の観測を物体中心の履歴表現に圧縮し、視覚運動ポリシーに組み込むことで、記憶を要する操作タスクの性能を向上させた研究。
- FBI: 動的な視触覚ショートカット方策による巧みな把持内操作の学習マニピュレーション2025/8/1
触覚信号と物体運動の因果関係を動的潜在モデルで捉え、視覚と触覚を動的に融合する模倣学習フレームワークFBIを提案し、把持内操作タスクで性能を向上させた。
- AgentWorld: 家庭内移動マニピュレーションのための対話型シミュレーションプラットフォームsim2real2025/8/1
家庭内での移動マニピュレーションを学習するため、自動シーン構築と遠隔操作によるデータ収集を統合したシミュレーションプラットフォームを提案し、模倣学習手法のベンチマークを通じてsim-to-real転移への有効性を示した。
- UniDomain: 実世界デモンストレーションからの統一PDDLドメイン事前学習による汎化可能なロボットタスクプランニングタスクプランニング2025/7/1
12,393本の操作動画から原子PDDLドメインを抽出し、統一ドメインを事前学習して、未知タスクをゼロショットで計画できるフレームワークを提案した。
- ArtGS: 3Dガウシアンスプラッティングによる関節物体の視覚・物理モデリングと操作マニピュレーション2025/7/1
3Dガウシアンスプラッティングに視覚言語モデルと微分可能レンダリングを組み合わせ、関節物体の構造を推定して操作方策を最適化するフレームワークを提案。
- Tru-POMDP: 仮説の木とオープンエンドPOMDPによる不確実性下のタスク計画タスク計画2025/6/1
LLMで仮説の木を構築し、オープンエンドなPOMDP計画と組み合わせることで、曖昧な指示や未知の物体配置に対応する家庭用ロボットのタスクプランナを提案した。
- 知識駆動型模倣学習：多様な条件への汎化を実現する模倣学習2025/6/1
外部の構造的意味知識を活用して物体表現を抽象化し、少ない実演データでロボットマニピュレーションの汎化性能を高める知識駆動型模倣学習を提案した。
- ForceVLA：力覚対応MoEで接触の多いマニピュレーションを強化するVLAモデルマニピュレーション2025/5/1
外部力覚をVLAの第一級モダリティとして扱い、力覚対応のMixture-of-Experts融合モジュールで視覚言語埋め込みと6軸力フィードバックを統合する操作フレームワークを提案し、接触の多いタスクの成功率を23.2%向上させた。
- SIME: モーダルレベル探索による方策の自己改善模倣学習/自己改善2025/5/1
ロボットが人間のデータから初期学習した後、環境との相互作用を通じて自己改善するために、モーダルレベルの探索とデータ選択を組み合わせた手法を提案し、シミュレーションと実機で有効性を示した。
- ガウススプラッティングによる新規デモ生成で実現するロバストなワンショットマニピュレーションマニピュレーション2025/4/1
3Dガウススプラッティングで再構成したシーンを直接編集し、多様で視覚的にリアルなデモを生成することで、ワンショット設定での視覚運動政策の汎化性能を大幅に向上させる手法RoboSplatを提案。
- DexTOG: 言語指示に基づくタスク指向の巧みな把持学習マニピュレーション2025/4/1
言語ガイド付き拡散モデルで多指ハンドのタスク指向把持を生成する枠組みDexTOGを提案し、80物体・5カテゴリの新データセットDexTOG-80Kを構築した。
- デジタル遺伝子：解析的概念を通じて物理世界を学ぶ物理世界理解2025/4/1
物理世界の概念を数理的手続きのプログラムとして表現する「解析的概念」を提唱し、機械知能が物理世界を認識・推論・相互作用するための枠組みと基盤を提案する。
- 解析的概念による関節物体操作のための物理的に接地された常識知識マニピュレーション2025/3/1
MLLMが推論した意味レベルの常識知識を、数学的に定義された解析的概念を介して物理世界に接地し、関節物体の汎用的な操作を可能にする手法を提案した。
- 反応的拡散ポリシー：接触の多い操作のための低速・高速視触覚ポリシー学習視触覚模倣学習2025/3/1
拡散ポリシーで低速に行動チャンクを生成し、高速な触覚トークナイザで閉ループ制御する視触覚模倣学習手法を提案し、接触の多い操作タスクでの性能を向上させた。
- AirExo-2：低コスト外骨格による汎化可能なロボット模倣学習のスケールアップ模倣学習2025/3/1
低コストの外骨格システムAirExo-2で実世界の大規模デモンストレーションデータを収集し、それを擬似ロボットデータに変換して、3D空間と2D意味論を融合する模倣学習ポリシーRISE-2を訓練した。
- Dense Policy：双方向自己回帰による行動学習マニピュレーション2025/3/1
軽量なエンコーダのみのアーキテクチャで行動系列を粗から細へと対数的な推論時間で展開する、双方向自己回帰型のロボットマニピュレーション方策を提案。
- AnyDexGrasp: 異なるハンドに汎用な高効率学習による器用把持マニピュレーション2025/2/1
接触中心の中間表現を介してハンド非依存の把持モデルを学習し、各ハンド固有の把持決定モデルを実機試行錯誤で少数データから訓練することで、複数のロボットハンドで高成功率の把持を実現した。
- Arti-PG: 多様な関節物体を大規模に手続き生成するツールボックス関節物体生成2024/12/1
関節物体の3Dデータと詳細なアノテーションを手続き的に大量生成するツールボックスArti-PGを提案し、26カテゴリの物体生成を実現した。
- 把持姿勢の事前知識を活用した巧みな操作マニピュレーション2024/12/1
物体の機能部位に対する巧みな把持姿勢を事前知識として生成し、その後の操作を強化学習で探索することで、学習効率と成功率を高める手法を提案した。
- 行動の前に動作を：物体運動をマニピュレーション条件として拡散する手法マニピュレーション2024/11/1
観測から物体の将来の姿勢系列を予測し、それを条件としてロボットの行動系列を拡散生成するプラグアンドプレイ型モジュールMBAを提案し、模擬・実環境で既存方策の性能を大幅に向上させた。
- FoAR: 接触の多いロボットマニピュレーションのための力覚対応リアクティブポリシーマニピュレーション2024/11/1
力/トルクセンシングと視覚入力を組み合わせ、将来の接触予測に基づいて力データの利用を動的に調整するリアクティブポリシーを提案し、接触の多いタスクでの性能を向上させた。
- ConceptFactory: 物体概念化による3D物体知識アノテーションの効率化3D認識/アノテーション2024/11/1
3D物体を一般的な幾何概念で認識する「物体概念化」により、視覚とロボティクスの両面で物体知識を効率的にアノテーションするツールボックスと大規模データセットを提案。
- CAGE: 因果アテンションによるデータ効率的で汎化可能なロボットマニピュレーションマニピュレーション2024/10/1
視覚基盤モデルDINOv2と因果アテンションを組み合わせ、50回程度の実演から未知環境でも汎化できるロボット操作ポリシーを提案した。
- ImDy: 模倣観測からの人間逆動力学逆動力学2024/10/1
人間の動作模倣アルゴリズムと物理シミュレータを組み合わせて大規模な逆動力学データセットImDyを構築し、関節トルクと床反力を同時推定するデータ駆動型ソルバを学習した研究。
- DeformPAM：選好ベースの行動整合による変形物体の長期的操作のためのデータ効率学習マニピュレーション2024/10/1
人間の選好データから報酬モデルを学習し、拡散モデルで生成した複数候補行動を報酬で選別することで、変形物体の長期的操作を少ないデータで高精度に実現する枠組みを提案。
- ForceMimic: 力中心の模倣学習と力・動作キャプチャシステムによる接触の多いマニピュレーションマニピュレーション2024/10/1
人間の力加減を計測する装着型デバイスで野菜の皮むきなどの接触作業のデモを集め、力と位置を同時に扱う模倣学習でロボットに教える手法を提案。視覚のみの手法より成功率を54.5%向上させた。
- セグメント単位の選択と最適化によるロボットマニピュレーションにおける混合品質デモンストレーションの有効活用マニピュレーション2024/9/1
ロボットマニピュレーションの混合品質デモデータをセグメント単位で選別・最適化し、既存の政策にプラグアンドプレイで組み込めるフレームワークS2Iを提案。
- SKT: 状態認識キーポイント軌道と視覚言語モデルを統合したロボット衣類操作衣類操作/VLA2024/9/1
視覚言語モデル(VLM)を用いて、多様な衣類の状態を単一モデルで認識しキーポイントを予測することで、ロボットによる衣類操作を汎用的に実現する手法を提案した。大規模合成データで学習し、キーポイント検出精度とタスク成功率を向上させた。
- 解析的オントロジーテンプレートによる関節物体の概念的知識の発見関節物体理解2024/9/1
関節物体の構造とアフォーダンスに関する概念的知識を、実データなしで発見するためのパラメータ化・微分可能なプログラム記述「解析的オントロジーテンプレート（AOT）」と、それに基づくAOTNetを提案した。
- SAM2ベースのトラッキングとオンライン軸推定による関節物体マニピュレーションマニピュレーション2024/9/1
SAM2で動的部分を追跡しながら3D点群から関節軸をオンライン推定し、関節物体を閉ループで操作する手法を提案した論文。
- UniAff：視覚言語モデルによる道具使用と関節物体操作のためのアフォーダンス統合表現マニピュレーション2024/9/1
道具と関節物体の操作を統一的に扱うため、アフォーダンス認識と3D運動制約の推論を視覚言語モデルで行う手法UniAffを提案し、シミュレーションと実世界で汎化性能を向上させた。
- DiPGrasp: 効率的な微分可能把持計画のための並列局所探索マニピュレーション2024/8/1
力閉包に基づく把持品質指標を勾配最適化し、並列サンプリングと衝突処理を組み合わせることで、様々な自由度のグリッパに対応する高速で微分可能な把持計画手法を提案した。
- Kalib: 参照点追跡による簡単なハンドアイキャリブレーションキャリブレーション2024/8/1
視覚基盤モデルを活用し、ロボットの参照点を追跡することで、マーカーや再学習なしにカメラとロボット間のキャリブレーションを自動化する手法を提案。
- 多指把持のための驚くほど効率的な表現マニピュレーション2024/8/1
多指ハンドでの把持を効率的に学習するための新しい表現を提案し、少ない実機試行で高い把持成功率を達成した。
- 人間とエージェントの共同学習による効率的なロボットマニピュレーションスキル獲得マニピュレーション2024/7/1
人間と学習型アシストエージェントがロボットの制御を共有し、データ収集とロボットの訓練を同時に行うことで、効率的にマニピュレーションスキルを獲得するシステムを提案した。
- TieBot: 実世界-シミュレーション-実世界アプローチによる視覚デモンストレーションからのネクタイ結び学習変形物体マニピュレーション2024/7/1
ネクタイの変形と長期的な操作が難しいネクタイ結びを、実演動画からメッシュ列を推定し、教師方策と生徒方策を学習して実機に転移するReal-to-Sim-to-Realシステムを提案。実機で双腕ロボットが10回中5回成功。
- HumanVLA：視覚言語指示による物理ヒューマノイドの物体再配置VLA2024/6/1
視覚と言語の指示に従って物理ヒューマノイドが物体を再配置するためのVLAモデルを、教師方策の蒸留により構築し、新データセットで有効性を示した。
- 散乱環境における把持可能性の発見による高速かつ高精度な把持姿勢検出マニピュレーション2024/6/1
散乱環境で把持しやすい領域を「graspness」として定義し、それを予測するニューラルネットワークGSNetを提案。従来手法より大幅に高精度・高速な6DoF把持姿勢検出を実現した。
- DiffGen: 微分可能物理シミュレーション・微分可能レンダリング・視覚言語モデルによるロボット実演生成sim2real2024/5/1
微分可能な物理シミュレーションとレンダリング、視覚言語モデルを組み合わせ、自然言語指示からロボットの実演データを自動生成するフレームワークを提案。
- MS-MANO: 生体力学的制約を考慮した手姿勢トラッキング手姿勢推定2024/4/1
筋骨格系とMANOを統合したMS-MANOモデルと姿勢精緻化フレームワークBioPRを提案し、生理学的に自然な手姿勢トラッキングを実現した。
- RISE: 3D知覚で実世界ロボット模倣をシンプルかつ効果的に模倣学習2024/4/1
単一視点の点群から連続的なロボット動作を直接予測するエンドツーエンドの模倣学習手法を提案し、2D・3Dの既存手法を大きく上回る精度と効率を実現した。
- RH20T-P: 組み合わせ可能な汎化エージェントに向けたプリミティブレベルロボットデータセットマニピュレーション2024/3/1
ロボット操作のための約3.8万本の動画クリップからなるプリミティブレベルデータセットRH20T-Pを構築し、計画実行型の組み合わせ汎化エージェントのベースラインを実装した。
- ManiPose: 姿勢を考慮した物体操作のための包括的ベンチマークマニピュレーション2024/3/1
物体の6D姿勢に応じて把持や操作を適応させる「姿勢考慮型物体操作」の研究を進めるため、シミュレーション環境・大規模データセット・LLM活用ベースラインを提供するベンチマークを構築した。
- RPMArt: 関節物体のためのロバストな知覚とマニピュレーションマニピュレーション2024/3/1
ノイズの多い点群から関節パラメータと把持可能点を推定し、シミュレーションのみの学習で実世界の関節物体をゼロショットで操作できるフレームワークを提案。
- EmbodiedScan: 身体性AIに向けた統合マルチモーダル3D知覚スイート3D知覚2023/12/1
一人称視点のRGB-Dと言語指示を含む大規模3D知覚データセットとベンチマークを構築し、任意数のマルチモーダル入力に対応する基盤モデルを提案した。
- ロボティクスにおける基盤モデル：応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- マニピュレーションにおける微分可能な布パラメータ同定と状態推定マニピュレーション2023/11/1
RGB-Dカメラで実世界の布状態を観測し、微分可能シミュレータ上で物理パラメータを最適化することで、布の物理特性同定と姿勢推定精度を向上させる手法を提案。
- 攪拌による微分可能な流体物理パラメータ同定sim2real2023/11/1
ロボットアームで流体を攪拌し、微分可能なシミュレータと実世界の観測を照合することで、密度や粘度などの物理パラメータを推定するフレームワークDiffStirを提案した。
- 触覚知覚と強化学習による高精度ロボット針糸通し触覚2023/11/1
触覚センサと強化学習を組み合わせ、糸の端を見つけて針穴に通す変形可能線状物体操作を実現した研究。
- 軟体・剛体連成と交差なし接触を実現するロボットマニピュレーションシミュレータZeMasim2real2023/11/1
軟体と剛体の双方向連成・交差なし保証・摩擦接触を統合したシミュレータZeMaを提案し、IPC-GraspSim比で75倍高速に把持生成や強化学習を行い実機へ転移した。
- RFTrans: 透明物体の屈折フローを活用した表面法線推定とマニピュレーションマニピュレーション2023/11/1
透明物体の屈折フローを中間表現として用い、RGB-D画像から表面法線を推定し、ロボットによる把持を可能にする手法を提案。シミュレーションで学習し、実世界で83%の把持成功率を達成した。
- UniFolding：サンプル効率・拡張性・汎用性を備えたロボット衣類折りたたみマニピュレーション2023/11/1
VRと人間参加型学習で収集したデータを用い、部分点群から衣類の展開・折りたたみを単一ポリシーで行うロボットシステムを開発した。
- TacIPC：光学触覚センサ向けの交差・反転のないFEMベースエラストマーシミュレーション触覚2023/11/1
光学触覚センサのゲル変形をFEMとIPCで安定にシミュレーションし、sim-to-realギャップを低減する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- AirExo：低コスト外骨格による実環境での腕全体マニピュレーション学習マニピュレーション2023/9/1
低コストで可搬な双腕外骨格AirExoを開発し、遠隔操作と実環境での大規模デモ収集を可能にした。3分の遠隔操作デモと実環境データの併用で、20分以上の遠隔操作デモに匹敵する汎化性能の高い方策を学習できることを示した。
- GAMMA: 多様な関節物体の汎用的な関節モデリングと操作マニピュレーション2023/9/1
多様な関節物体から関節モデリングと把持姿勢を学習し、適応的操作で誤差を低減するフレームワークGAMMAを提案。未見・カテゴリ横断の物体で既存手法を大きく上回る。
- ClothesNet: 情報豊富な3D衣服モデルリポジトリとシミュレーション衣服環境衣服操作/シミュレーション2023/8/1
11カテゴリ約4400体の3D衣服モデルに特徴・境界線・キーポイントを注釈付与した大規模データセットを構築し、衣服の認識ベンチマークとロボット操作(折り畳み・吊り下げ・着衣など)のシミュレーション環境を提供した。
- 動的な把持軌道のリアルタイム生成による柔軟なハンドオーバーハンドオーバー2023/8/1
移動・回転する物体をロボットが柔軟な軌道で把持できるよう、リアルタイムで頑健な把持軌道を生成し、将来の把持予測も組み合わせたハンドオーバー手法を提案。家庭用品31種で成功率78.15%を達成。
- RH20T: ワンショットで多様なスキルを学習するための包括的ロボットデータセット模倣学習2023/7/1
視覚・力・音・行動のマルチモーダル情報を含む11万以上の実世界ロボット操作シーケンスを収集し、言語記述と人間のデモ動画を付与した大規模データセットを構築した。
- 衣服のカテゴリレベル姿勢追跡衣服姿勢追跡2023/3/1
VRで衣服モデルを操作して大規模データセットを作成し、点群列から衣服の完全な姿勢をオンラインで追跡するフレームワークを提案した。
- AnyGrasp: 空間・時間領域における堅牢かつ効率的な把持知覚マニピュレーション2022/12/1
実知覚と解析的ラベルを組み合わせた密な教師あり学習により、7自由度の把持姿勢を高精度かつ時間的に滑らかに生成し、未見物体の把持や動的把持を実現した研究。
- RCareWorld：介護ロボットのための人間中心シミュレーション環境sim2real2022/10/1
介護現場の関係者の意見を取り入れ、移動制限のある被介護者や介護者の人間モデル、家庭環境、介護用ロボットを備えた物理・社会的介護ロボット向けシミュレーション世界を構築し、ベンチマークタスクと実機実験でその有効性を示した。
- SAM-RL: 微分可能な物理シミュレーションとレンダリングによるセンシング認識型モデルベース強化学習モデルベース強化学習2022/10/1
微分可能な物理シミュレーションとレンダリングを活用し、実画像とレンダリング画像を比較してモデルを自動更新することで、効率的に方策を学習するモデルベース強化学習システムを提案し、組立・工具操作・変形物体操作の実世界タスクで有効性を示した。
- 未見物体の6D姿勢推定：ベンチマークとベースライン6D姿勢推定2022/6/1
訓練時に見ていない新規物体の6D姿勢を推定するタスクを提案し、実画像と合成画像を含むデータセットと新しい評価指標IADDを構築した。2段階のベースライン手法も提案し、その有効性を実験で示した。
- CPPF：実環境での頑健なカテゴリレベル9D姿勢推定に向けて姿勢推定2022/3/1
単一RGB-D画像からカテゴリレベル9D姿勢を推定するため、点対特徴を拡張したCPPF投票法を提案。合成データのみで学習しsim2realを実現、粗から細への投票で頑健な推定を可能にした。
- TransCG: 透明物体の深度補完のための大規模実世界データセットと把持ベースライン透明物体深度補完2022/2/1
透明物体の深度補完用に130シーン・57,715枚のRGB-D画像からなる大規模実世界データセットを構築し、RGB画像と不正確な深度から高精度深度を推定するエンドツーエンドネットワークと把持実験を示した論文。
- RFUniverse：マルチフィジックス対応の身体性AI向けシミュレーション基盤sim2real2022/2/1
剛体・多体力学に加え、空気-固体・流体-固体相互作用や熱伝導などのマルチフィジックス連成を計算できる身体性AI向けシミュレータを提案し、複雑な物理現象を含むタスクのベンチマークを可能にした。
- SAGCIシステム：サンプル効率・汎化・合成・逐次学習を目指すロボット学習フレームワークマニピュレーション2021/11/1
カメラの点群から環境をURDFとしてモデル化し、微分可能シミュレーションと対話的知覚を組み合わせて、関節物体操作のポリシーを効率的に学習するシステムを提案した。
- 実世界におけるカテゴリレベル関節物体ポーズ推定に向けて関節物体ポーズ推定2021/5/1
複数の関節物体が共存し関節構造も多様な実環境向けにCAPERタスクを定義し、大規模混合現実データセットとRGB-D入力から複数物体の部位ポーズを一度に推定するReArtNOCSを提案した論文。
- H2O: 人対人の物体受け渡しの視覚的分析のためのベンチマーク物体受け渡し2021/4/1
人から人への物体の受け渡しを視覚的に分析するための大規模データセットH2Oを構築し、受け取り手の把持を予測するRGPNetを提案した。
- RGBが重要：単眼RGBD画像から7自由度把持姿勢を学習する把持検出2021/3/1
RGBと深度を分離処理し、RGBから把持の3次元姿勢を予測、深度から把持幅と距離を解析的に求めることで、ノイズに頑健な7自由度把持検出を実現した。
- SuctionNet-1Billion：吸引把持のための大規模ベンチマーク吸引把持/ベンチマーク2021/3/1
吸引把持の成否を評価する新しい物理モデルと大規模実世界データセットのアノテーション手法、連続空間でのオンライン評価システムを提案し、RGB-D画像からの吸引把持姿勢予測手法の有効性を示した。
- 実環境データセットと強化学習による転移可能な能動的把握マニピュレーション2020/4/1
手先カメラで視点を探索しながら把持する強化学習パイプラインを提案し、実環境の全天球サンプルを含む大規模データセットREDを構築して、実機UR-5で有効性を示した。
- 力覚のみで学習するペグ挿入タスク向け転移可能な力-トルクダイナミクスモデルマニピュレーション2019/12/1
力覚入力のみから接触の多いペグ挿入タスクのダイナミクスモデルを学習し、多様な形状・弾性のペグに少ない試行で転移できることを示した研究。
- GraspNet：物体把持のための大規模クラスタ・高密度注釈データセット把持2019/12/1
クラスタ状の物体把持のための大規模RGBDデータセットと、解析計算で把持成功を直接評価できる統一評価システムを構築した論文。
- 6-PACK: アンカーベースキーポイントによるカテゴリレベル6D姿勢トラッカー6D姿勢推定2019/10/1
RGB-Dデータ上で未知の物体インスタンスの6D姿勢をリアルタイム追跡するため、少数の3Dキーポイントを教師なしで学習し、キーポイントマッチングでフレーム間の動きを推定する手法を提案した。
- DenseFusion：反復的な密融合による6D物体姿勢推定6D姿勢推定2019/1/1
RGB-D画像から既知物体の6D姿勢を推定するため、RGBと深度を個別に処理してピクセル単位の密な特徴を融合するネットワークと反復的な姿勢精緻化を組み合わせた手法を提案し、YCB-VideoとLineMODで最先端性能を達成、実機ロボットでの把持にも応用した。
