Kaichun Mo
収録論文 25本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Cosmos 3: 物理AIのための全モーダル世界モデルVLA2026/6/1
言語、画像、動画、音声、行動を統一的に扱う全モーダル世界モデルを提案し、理解・生成タスクでSOTAを達成した。
- DreamDojo: 大規模人間動画から学ぶ汎用ロボット世界モデル世界モデル2026/2/1
44,000時間の一人称視点人間動画から汎用的なロボット世界モデルを学習し、連続潜在行動を代理ラベルとして活用することで、巧みな操作の物理理解と精密な行動制御を実現した研究。
- PointWorld: 実世界ロボット操作のための3D世界モデルのスケーリングマニピュレーション2026/1/1
RGB-D画像とロボットの行動コマンドから3D点群の動きを予測する大規模事前学習済み3D世界モデルを提案し、実機ロボットのモデル予測制御に応用した。
- Openpi Comet:2025 BEHAVIORチャレンジ競技解法マニピュレーション2025/12/1
2025 BEHAVIORチャレンジに向けた解法を提案し、事前学習と事後学習のスケーリング効果を明らかにして、検証Qスコア0.345を達成した。
- 物理AIのための動画基盤モデルによる世界シミュレーション世界モデル2025/11/1
テキスト・画像・動画から世界を生成する動画基盤モデルCosmos-Predict2.5と、Sim2Real/Real2Real変換を行うCosmos-Transfer2.5を発表し、ロボティクス向けの合成データ生成やシミュレーションを可能にした。
- 人間の単一動画からの視覚的模倣によるスロット単位のロボット配置模倣学習2025/4/1
人間の作業動画を1本見せるだけで、どの物体をどこに置くかを理解し、ロボットが同じ配置作業を再現できるモジュール式システムSLeRPを提案した。
- MatchMaker: ロボット組立のための組立アセット自動生成sim2real2025/3/1
干渉するアセットペアをシミュレーション可能なペアに変換し、単一アセットから嵌合する相手を生成し、接触面を侵食して現実的な部品を作るパイプラインを提案。生成データは多様性と組立スキル学習の有効性で従来手法を上回る。
- 物理AIのためのCosmos世界基盤モデルプラットフォーム世界モデル2025/1/1
物理AI開発者向けに、カスタマイズ可能な世界モデルを構築するための基盤モデル・動画キュレーション・トークナイザを提供するオープンソースプラットフォーム。
- 3D-MVP: ロボットマニピュレーションのための3Dマルチビュー事前学習マニピュレーション2024/6/1
マスク付きオートエンコーダを用いて大規模3Dデータセットで視覚エンコーダを事前学習し、ロボットマニピュレーションの汎化性能を向上させる手法を提案した。
- URDFormer: 実世界画像から関節構造を持つシミュレーション環境を構築するパイプラインsim2real2024/5/1
実世界の画像から関節構造や物理特性を推定し、シミュレーションシーンを自動生成するURDFormerを提案。テキストから画像生成モデルを活用して学習データを生成し、大規模でリアルなシーン構築を可能にした。
- STOW: 倉庫ピッキングロボットのための未見物体の離散フレームセグメンテーションと追跡セグメンテーション・追跡2023/11/1
倉庫や家庭での物体再配置において、離散的なフレームから未見物体をセグメンテーションし追跡する新しいパラダイムとTransformerモジュールを提案し、合成・実世界データセットで従来手法を大幅に上回る性能を示した。
- Where2Explore: 未知のカテゴリの関節物体に対する少数ショットアフォーダンス学習マニピュレーション2023/9/1
物体カテゴリ間で共通する局所形状を活用し、未知カテゴリの関節物体を少数のインタラクションで効率的に探索・操作するアフォーダンス学習フレームワークを提案。
- COPILOT: 一人称視点動画からの人と環境の衝突予測と位置推定一人称視覚/衝突予測2022/10/1
一人称視点の多視点動画から、体のどの関節が環境と衝突するかと衝突領域を予測するTransformerモデルCOPILOTを提案し、大規模合成データセットで学習して実世界シーンにも汎化することを示した。
- DualAfford: 双グリッパ操作のための協調的視覚アフォーダンス学習マニピュレーション2022/7/1
2本のグリッパで協調して3D物体を操作するための視覚アフォーダンス学習フレームワークを提案し、2グリッパの二次問題を2つのサブタスクに分解して効率的に学習する。
- 物理シミュレーションと機能予測で故障した3D物体を修理する物理推論2022/5/1
故障した3D物体を修理するため、知覚・物理ダイナミクス予測・機能予測を統合したFixNetを提案し、約5千体のデータセットFixItでベースラインを大きく上回る性能を示した。
- IFR-Explore: 3D屋内シーンにおける物体間機能関係の学習物体間関係学習2021/12/1
3D屋内環境でスイッチと照明のような物体間の機能関係を、大規模シーンでの事前学習と対話的探索方策により学習・適応するAIシステムを提案し、AI2ThorとPartNetに基づく新ベンチマークで有効性を示した。
- RoboAssembly:多ロボット接触リッチ環境で家具組み立てを学習マニピュレーション2021/12/1
家具組み立てを強化学習問題として定式化し、多ロボット接触リッチなシミュレーション環境で多様な椅子の組み立てを学習する手法を提案。未見の椅子でも物体中心設定で74.5%、フル設定で50.0%の成功率を達成。
- AdaAfford: 少数回のインタラクションで3D関節物体の操作アフォーダンスを適応学習アフォーダンス2021/12/1
3D関節物体の操作アフォーダンスを、テスト時に少数回のインタラクションを行うことでインスタンスごとに精度良く適応させるフレームワークAdaAffordを提案し、PartNet-Mobilityデータセットで有効性を示した。
- 置くことを学んで掴み直すことを学ぶマニピュレーション2021/9/1
物体と周囲環境の部分点群を入力に、ピックアンドプレース操作の系列を生成して初期把持姿勢を目標把持姿勢へ変換するシステムを提案。安定配置予測器と再把持グラフ探索を組み合わせ、シミュレータと実機で有効性を示した。
- O2O-Afford: アノテーション不要の大規模物体間アフォーダンス学習アフォーダンス2021/6/1
物理シミュレーションとShapeNetモデルで物体同士の相互作用タスク環境を構築し、人手アノテーションなしで物体間アフォーダンスを学習する枠組みを提案した論文。
- VAT-Mart: 3D関節物体操作のための視覚的行動軌道提案の学習マニピュレーション2021/6/1
関節物体を操作するため、密な視覚的行動アフォーダンスと軌道提案を予測する知覚・相互作用フレームワークを提案し、強化学習と知覚学習を同時に行うことで未知形状や実世界データへの汎化を示した。
- Where2Act:関節物体に対するピクセルから行動への変換アフォーダンス2021/1/1
画像と深度から、関節物体の各ピクセルで可能な押す・引くなどの操作と動く領域を予測するネットワークを提案し、シミュレーションで学習してカテゴリを超えて汎化する。
- 単一画像からの3D部品組み立て学習組み立て/3D姿勢推定2020/3/1
完成した家具の1枚の画像と部品一式から、各部品の3D姿勢と組み立て関係を推論して組み立てる手法を提案した論文。
- SAPIEN:関節物体を備えた物理シミュレーション環境sim2real2020/3/1
家庭用ロボットの学習向けに、関節を持つ多数の物体を収めた物理的にリアルなシミュレーション環境SAPIENを構築し、部品検出や動作属性認識、強化学習による操作タスクを評価した。
- AdobeIndoorNavデータセット:深層強化学習による実世界屋内ロボット視覚ナビゲーションに向けて視覚ナビゲーション2018/2/1
実世界の屋内シーンで3D再構成と密な2D画像を収集したデータセットを構築し、深層強化学習ベースの視覚ナビゲーションの学習・評価を可能にした。
