Kuan Fang
Cornell University
収録論文 34本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RGB動画からの再構成強化型両手巧緻操作の視覚運動事前学習VLA2026/10/21
RGBのみの人間動画からシーン形状と手の動きを再構成し、それを入力と予測対象に用いる視覚運動事前学習で、3Dに接地した両手巧緻操作を獲得するフレームワークSpatialDexを提案した。
- KinoGen: 運動学的に接地した動画生成によるカスタマイズ可能なヒューマノイド移動操作リファレンス移動操作2026/10/14
ロボットと物体のシミュレーション画像を条件に動画生成モデルで2視点動画を作り、それにモデルをフィットさせてヒューマノイドの移動操作リファレンスを合成するフレームワーク。キーフレーム編集で目標姿勢を指定でき、Unitree G1で追従方策を実機展開した。
- プロキシポリシー操縦による推論時適応ロボットポリシー適応2026/9/8
凍結された汎用ロボットポリシーを、限られたデモから新しいタスクに適応させるため、2つの軽量プロキシポリシーの速度差でベースのサンプラーを操縦する手法を提案した。
- KITE: 運動学と相互作用の分離によるゼロショット異種ロボット間操作マニピュレーション2026/6/1
ロボット間の操作ポリシー汎化を実現するため、タスク推論と身体固有の運動制御を分離し、接触パターンに基づく潜在意図表現で橋渡しする手法KITEを提案。新しい身体への適応は運動学モデルからアクションデコーダを学習するだけで済み、デモデータ再収集不要でゼロショット転送を達成。
- 異種ロボット学習のための統合運動-行動モデリングVLA2026/6/1
3D物体運動軌跡を共通インターフェースとして用い、視覚運動制御と力学モデリングを統合するモデルを提案。マスク生成目的と対照学習により、多様なデータソースからのマルチタスク事前学習と、複数の推論モードでの適応を実現する。
- 単一の人間デモンストレーションから機能的巧み把持を学習するGenerate, Transfer, Adaptフレームワークマニピュレーション2026/1/1
単一の人間のデモンストレーションから合成データを生成し、カテゴリ内の多様な物体に把持を転移・適応させて、機能的巧み把持を学習するCorDexを提案。
- 対応志向模倣学習:3D条件付けによる柔軟な視覚運動制御模倣学習2025/12/1
物体上のキーポイントの動きでタスクを指定し、可変な時空間粒度の指示に適応する条件付き模倣学習フレームワークを提案。実世界のマニピュレーションで従来手法を上回る性能を示した。
- SAGA: 構造的アフォーダンス接地によるオープンワールド移動マニピュレーション移動マニピュレーション2025/12/1
マルチモーダル基盤モデルを用いてタスク意図を3Dアフォーダンスヒートマップとして接地し、言語・点指定・実演など多様な指示で四足歩行マニピュレータの全身制御を実現するフレームワークを提案。
- 未来をプロンプトする:インタラクティブデジタルツインによるオープンワールドモデル予測制御VLA2025/6/1
VLMの意味推論と物理的に接地したインタラクティブデジタルツインを組み合わせ、未来の観測をVLMに提示して最適な行動を選択するモデル予測制御フレームワークを提案。
- 柔軟な肢間協調による多様な移動操作移動操作2025/6/1
強化学習で各肢を操作と移動に動的に割り当て、目標軌道・接触点・言語指示に応じて多様な移動操作を実現する手法を提案。実機12タスクで平均78.9%の成功率を達成。
- 時間表現アラインメント:後継特徴がロボット指示追従における創発的な構成性を可能にするVLA2025/2/1
現在と将来の状態表現を時間的に整合させる損失で学習することで、明示的なサブタスク計画や強化学習なしに、基本タスクの組み合わせからなる複合タスクをこなせる構成性がロボット操作タスクで向上することを示した論文。
- 接触の多い両腕マニピュレーションのための計画誘導拡散ポリシー学習マニピュレーション2024/12/1
モデルベースの動作計画器で高忠実度シミュレーション内に大規模なデモを生成し、タスク条件付き拡散ポリシーを模倣学習することで、多様な物体を扱う接触の多い両腕操作を実世界で実現した。
- 接触の多いマニピュレーション方策はサンプリングベースプランナから学ぶべきか?マニピュレーション2024/12/1
接触の多い巧みな操作タスクの訓練データをモデルベース計画で生成する手法を検討し、RRTのデモはエントロピーが高すぎるため一貫性を重視したデータ生成と拡散ベースのBCを組み合わせ、実機へのゼロショット転移を実現した。
- KALIE: ロボットデータなしで視覚言語モデルを微調整するオープンワールドマニピュレーションマニピュレーション2024/9/1
人間がラベル付けした2D画像のみで視覚言語モデルを微調整し、自然言語指示と視覚からキーポイントアフォーダンスを予測してロボットを制御する手法を提案。50例のデータで未知物体の新規タスクを頑健に遂行できる。
- Blox-Net: VLM監督・物理シミュレーション・リセット付きロボットによるロボット組立のための生成的設計ロボット組立/生成的設計2024/9/1
自然言語プロンプトと部品画像から、VLMと物理シミュレーションを組み合わせてロボットが組み立て可能なアセンブリを自動生成するシステムを提案し、キリンなどの形状を高精度で再現しつつ実機で安定して組み立てられることを示した。
- 言語最適化による方策適応:少数ショット模倣のためのタスク分解模倣学習2024/8/1
視覚言語モデルによるタスク分解を活用し、少数の実演から未知の長期的ロボット操作タスクに適応する手法PALOを提案した。
- Jacta: 器用な全身マニピュレーションを学習するための汎用プランナマニピュレーション2024/8/1
器用な手先と全身を使う複雑なマニピュレーションタスク向けに、強化学習のデモンストレーションを自動生成する柔軟な動作プランナを提案し、実機への転移も示した。
- 視覚プロンプトによるアフォーダンス誘導強化学習強化学習2024/7/1
視覚言語モデルが推定するキーポイントのアフォーダンスを報酬に変換し、実世界の多様なマニピュレーションタスクで自律強化学習のサンプル効率を向上させる手法KAGIを提案。
- MOKA: マークベース視覚プロンプティングによるオープンワールドロボットマニピュレーションマニピュレーション2024/3/1
視覚言語モデルに画像上のマークを手がかりに質問応答させ、自由文指示からアフォーダンスを予測してロボットの卓上マニピュレーションを実現する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- BridgeData V2: 大規模ロボット学習のためのデータセット模倣学習2023/8/1
低コストロボットで24環境・6万軌道を収集した大規模多様データセットを公開し、模倣学習やオフライン強化学習の性能がデータ量とスキル多様性で向上することを示した。
- 言語指示に従うロボットのための目標表現:半教師あり言語インターフェースによる制御VLA2023/7/1
少量の言語ラベル付きデータと大量の未ラベルデータを活用し、言語指示を開始画像と目標画像の変化に埋め込むことで、実世界の多様なマニピュレーションタスクで指示に従う方策を学習した。
- 階層的模倣学習による多段階ケーブル配線マニピュレーション2023/7/1
ケーブルを複数のクリップに通す多段階操作を、下位の運動制御と上位のタスク順序決定を模倣学習で階層的に学習し、失敗からの回復も可能にした研究。
- 能動的タスクランダム化:多様で実行可能なタスクの教師なし生成によるロバストスキルの学習マニピュレーション2022/11/1
タスクの多様性と実行可能性のバランスを取りながら教師なしで訓練タスクを生成し、ロバストな操作スキルを学習する手法を提案。
- 損失のあるアフォーダンスによる汎化:広範なオフラインデータを活用した視覚運動タスクの学習VLA2022/10/1
広範なオフラインデータから損失のある表現空間でサブゴールを計画し、オンライン微調整で未知の視覚運動タスクを効率的に学習するフレームワークを提案。
- 計画から実践へ:潜在空間での目標合成による効率的なオンライン微調整強化学習2022/5/1
高レベルプランナーが潜在空間で中間目標を生成し、オフラインRLで事前学習した方策をオンライン探索で微調整することで、長期的なタスクを効率的に学習する手法を提案。
- 多様なタスクの自動生成による汎化可能スキルの発見スキル学習2021/6/1
訓練可能なタスク生成器で多様なタスクを自動生成し、各スキルを固有タスクに特化させつつタスク多様性を最大化することで、汎化可能なロボットスキルを獲得する手法SLIDEを提案。
- アフォーダンスと幾何の相乗効果:暗黙表現による6自由度把持検出把持検出2021/4/1
3D再構成と把持学習をマルチタスク学習で統合し、暗黙的ニューラル表現を用いて clutter 内の6自由度把持検出を高精度化した研究。
- 難探索問題のための適応的プロシージャルタスク生成強化学習・カリキュラム2020/7/1
強化学習のカリキュラムとしてタスクを段階的に生成するAPT-Genを提案し、エージェントの成績と目標タスクとの類似度を両立させる敵対的学習で難探索問題の性能を向上させた。
- KETO: 道具操作のためのキーポイント表現学習マニピュレーション2019/10/1
道具を使った操作タスクにおいて、3D点群からタスク固有のキーポイントを自己教師あり学習で予測し、把持と操作を効率化するフレームワークを提案した。
- カスケード変分推論による多段階マニピュレーションのダイナミクス学習マニピュレーション2019/10/1
高次効果の予測と低次動作の生成を分離するカスケード変分推論で潜在表現を学習し、2つの時間解像度で階層的に計画するモデルベース手法を提案した。
- 長期的タスクに取り組む身体性エージェントのためのシーン記憶トランスフォーマーナビゲーション2019/3/1
観測を記憶に蓄積しアテンションで時空間依存性を活用する記憶ベース方策SMTを提案し、視覚ナビゲーションタスクで既存手法を大きく上回る性能を示した。
- シミュレーション自己教師あり学習による道具操作用のタスク指向把持の学習マニピュレーション2018/6/1
道具を使ったタスクのために、把持と操作方策を同時に最適化するTOG-Netを提案し、大規模シミュレーション自己教師あり学習で訓練して、掃き掃除とハンマー打ちで実機検証した論文。
- シミュレーションからのインスタンス把持学習のためのマルチタスクドメイン適応sim2real2017/10/1
シミュレーションで学習した把持モデルを、ドメイン敵対的損失と無差別把持データを用いて実機に転移するマルチタスクドメイン適応手法を提案し、実ロボット実験で有効性を示した。
