Chuang Gan
University of Massachusetts Amherst
収録論文 73本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- HARP-Bench：人間が活動する環境でのロボットマニピュレーション評価ベンチマークマニピュレーション2026/11/8
人間が作業空間を共有し能動的に活動する状況でのロボット操作ポリシーを評価するベンチマークHARP-Benchを提案し、VLAモデルや模倣学習手法を評価した。
- Gen2Dex: シミュレーション初期化された生成動画デモから器用な操作を学習するマニピュレーション2026/10/17
シミュレーションに基づく生成動画から人間の操作動作を抽出し、残差強化学習で物理的に実行可能なロボットの器用な操作デモへ変換するフレームワークを提案した。
- DexTaG: 触覚をガイドにした強化学習による巧みな操作マニピュレーション2026/9/27
グローブ型モーションキャプチャの触覚信号を強化学習のガイドとして用い、人間の接触パターンを保ちながらロボットハンドの巧みな道具操作を実現するフレームワークを提案。
- 自己適応型VLA：ロボット実運用のための堅牢な展開手法VLA2026/9/24
ハードウェアのずれに自己適応するVLAモデルを提案し、展開時のキャリブレーションなしで精度が要求される双腕・巧緻マニピュレーションタスクの性能を80%以上回復させた。
- SyncWorld: 視覚キャリブレーションによるワールドモデルのゼロショットシミュレータ化ワールドモデル/シミュレーション2026/9/8
ロボットの行動と視覚変化の対応を視覚キャリブレーションで文脈的に指定することで、未見環境でも追加学習なしに行動結果を正確にシミュレートできるワールドモデルを提案した。
- SPOT: 空間知覚指向の長時間ヒューマノイド遠隔操作遠隔操作2026/9/7
長時間の移動操作タスクで必要な空間認識を拡張するため、ロボット搭載の魚眼カメラと視点分離型の自由視点表示を組み合わせたVR遠隔操作システムSPOTを提案した。
- IM-ENGINE: 具現化データ生成のための画像編集データ生成2026/9/5
画像編集を中間表現として用い、シミュレータで物理検証されたロボット実行可能なデータを生成するパイプラインを提案。器用な把持合成とゴール状態生成に応用し、意味的に意味があり物理的に実行可能な教師データをスケーラブルに生成する。
- GS-Agent: 生成シミュレーションによる4D物理世界の構築生成モデル2026/7/1
自然言語の記述から、物理的に妥当で動的な4D世界を自動生成するマルチエージェントフレームワークを提案した論文。
- GHOST: ロボット操作の汎化を実現する階層的サブゴールポリシーマニピュレーション2026/6/8
多視点RGB-D観測から3Dエンドエフェクタのポーズを予測する高レベルポリシーと、その目標を達成する低レベルコントローラを組み合わせた階層的枠組みを提案し、操作タスクの汎化性能を向上させた。
- DLO-Lab: 微分可能物理を用いた変形線状物体操作のベンチマーク変形物体操作2026/6/1
ロープやケーブルなどの変形線状物体（DLO）の操作を学習・評価するための、多様な材料特性を扱える微分可能シミュレータとベンチマークタスク群を提案した論文。
- LLawCo: 協調の法則を学習して具現化マルチエージェント行動をモデル化するマルチエージェント協調2026/6/1
LLMベースの具現化エージェントがパートナーや環境とずれた行動を取る問題に対し、過去の失敗から行動法則を抽出し、それを思考連鎖に組み込むフレームワークLLawCoを提案。新ベンチマークPARTNR-Dialogで成功率を向上させた。
- センチネル：具現化された協調的空間推論と計画群制御2026/5/25
都市規模の屋外環境で複数の分散エージェントが自然言語で通信し、安全な待ち合わせ場所を協調して決定し、動的な哨戒を避けながら移動するためのフレームワークを提案した。
- RoboWits: ロボットの創造的問題解決における予期せぬ課題ベンチマーク2026/5/1
ロボットの認知推論と創造的ツール使用を評価するためのバイマニピュレータベンチマークを提案し、自動タスク生成パイプラインを用いて多様なタスクを作成。既存のVLAが変異タスクで性能が低下することを示した。
- アクションイメージ：マルチビュー動画生成によるエンドツーエンド方策学習VLA2026/4/1
ロボットの7自由度動作をピクセルに接地したアクション動画として表現し、動画生成モデル自体を方策として用いる統一的な世界行動モデルを提案した。RLBenchと実機評価で高いゼロショット成功率を達成した。
- PhyScensis: 物理エンジンで拡張されたLLMエージェントによる複雑な物理シーン配置シーン生成/LLMエージェント2026/2/1
LLMエージェントと物理エンジンを組み合わせ、接触や支持・収納といった物理関係を考慮した複雑な3Dシーンを自動生成するフレームワークを提案。
- ExtremControl: 四肢直接制御による低遅延ヒューマノイド遠隔操作遠隔操作2026/2/1
全身リターゲティングを避け、選択した剛体リンク（主に四肢）のSE(3)姿勢を直接操作し、速度フィードフォワード制御を組み合わせることで、50msの低遅延を実現したヒューマノイド遠隔操作フレームワーク。
- バーチャルコミュニティ：人間・ロボット・社会のためのオープンワールド社会シミュレーション2025/8/1
人間とロボットが共存する社会をシミュレートするオープンソースのマルチエージェント物理シミュレータを構築し、コミュニティ計画とロボット協調の2つの課題を提案した。
- MindJourney：世界モデルによるテスト時スケーリングで空間推論を実現VLA2025/7/1
VLMに動画拡散ベースの世界モデルを組み合わせ、テスト時に視点移動を探索させることで3D空間推論を強化するフレームワークを提案。
- RobotSmith: 複雑な操作スキル獲得のための生成的ロボットツール設計マニピュレーション2025/6/1
視覚言語モデルと物理シミュレーションを組み合わせ、ロボットが操作しやすいツールを自動設計し、その使い方まで最適化する手法を提案。
- 3D永続的具現化ワールドモデルの学習ワールドモデル2025/5/1
過去に生成した内容を明示的に記憶する3Dマップを条件付けし、RGB-D動画拡散モデルで長期的に一貫した未来予測を可能にする永続的ワールドモデルを提案。計画や方策学習に有効性を示す。
- TesserAct: 4D身体化世界モデルの学習世界モデル2025/4/1
RGB-DN動画を生成するビデオモデルを微調整し、身体化エージェントの行動に応じた4Dシーン予測を可能にする世界モデルを提案。
- AdaWorld: 潜在行動で適応可能な世界モデルを学習する世界モデル2025/3/1
動画から自己教師ありで潜在行動を抽出し、それに条件づけた自己回帰的世界モデルを事前学習することで、新しい環境や行動への適応を効率化する手法を提案。
- MatchMaker: ロボット組立のための組立アセット自動生成sim2real2025/3/1
干渉するアセットペアをシミュレーション可能なペアに変換し、単一アセットから嵌合する相手を生成し、接触面を侵食して現実的な部品を作るパイプラインを提案。生成データは多様性と組立スキル学習の有効性で従来手法を上回る。
- 任意メッシュの関節構造化：オープンボキャブラリ3D関節物体モデリング3Dモデリング2025/2/1
視覚言語モデルと視覚プロンプトを用いて、任意の剛体3Dメッシュを部品分割と関節構造を持つ関節物体に自動変換するフレームワークを提案し、生成物をロボット操作スキル学習に活用できることを示した。
- 制約付き人間-AI協調：包摂的な身体性社会知能チャレンジ人間-AI協調2024/11/1
身体的制約を持つ人間を支援する身体性エージェントの社会知覚と協調計画を評価するベンチマークCHAICを提案し、LLMと行動モデリングを活用した手法を導入した。
- 3D-Mem: 身体性エージェントのための3Dシーンメモリ身体性AI2024/11/1
探索領域を多視点画像の「メモリスナップショット」として記憶し、未探索領域の「フロンティアスナップショット」も活用することで、身体性エージェントの探索と推論を向上させる3Dシーンメモリを提案した。
- UBSoft: 非有界軟質環境におけるロボットスキル学習のためのシミュレーションプラットフォームsim2real2024/11/1
軟質材料を含む広大な環境でロボットのスキル学習を可能にするため、ロボット近傍に応じて解像度を動的に変える空間適応型シミュレーションプラットフォームUBSoftを開発し、移動・操作タスクのベンチマークを構築した。
- マルチモーダル物理シーン理解のための分離音響場音響・マルチモーダル2024/7/1
音の生成・伝播過程を分離表現でモデル化し、落下物の位置に関する空間不確実性マップを構築して探索候補を提示することで、物体探索の成功率を高める手法を提案。
- CoNav: 人間中心の協調ナビゲーションのためのベンチマークナビゲーション2024/6/1
人間の活動を観察して意図を推論し、人間より先に目的地へナビゲートする協調ナビゲーション(CoNav)ベンチマークを提案。LLMベースの人間動作生成と意図認識エージェントを開発した。
- RoboDreamer: ロボットの想像のための構成的世界モデルの学習世界モデル2024/4/1
言語指示を低レベルプリミティブに分解して動画生成を条件付けすることで、未見の物体と行動の組み合わせに対応できる構成的世界モデルを提案し、ロボットの計画生成を実現した。
- 微分可能物理シミュレーションによる薄殻物体マニピュレーションマニピュレーション2024/4/1
多様な薄殻材料のロボット操作を学習・評価するための微分可能シミュレーションプラットフォームThinShellLabを提案し、薄殻操作特有の課題を明らかにした。
- 3D-VLA：3D視覚・言語・行動の生成的ワールドモデルVLA2024/3/1
3D知覚・推論・行動を生成的ワールドモデルで結びつけた基盤モデルを提案し、拡散モデルによる将来の画像・点群生成を通じて行動計画能力を向上させた。
- DIFFTACTILE：接触の多いロボットマニピュレーションのための物理ベース微分可能触覚シミュレータ触覚2024/3/1
FEMベースの柔軟体モデルとペナルティ法接触モデルを組み合わせ、微分可能な触覚シミュレータを構築。実世界データで物理特性を最適化し、触覚を活用した把持・操作スキル学習を可能にした。
- MultiPLY: 3D世界におけるマルチセンサリー物体中心の身体性大規模言語モデルVLA2024/1/1
視覚・音・触覚・温度などのマルチセンサリー情報を統合し、3D環境内で能動的に行動しながら物体と対話できる身体性大規模言語モデルを提案。
- DiffVL: 視覚言語駆動の微分可能物理による軟体操作のスケーリング軟体操作2023/12/1
非専門家が視覚と言語で指定した軟体操作タスクを、大規模言語モデルで最適化目的に変換し、微分可能物理シミュレータで解く手法を提案。
- DiffuseBot: 物理拡張拡散モデルによるソフトロボットの創成ソフトロボティクス/生成モデル2023/11/1
物理シミュレーションを組み込んだ拡散モデルでソフトロボットの形状を生成し、微分可能シミュレーションによる制御との共同設計で多様なタスクをこなせるロボットを自動生成する手法を提案。
- RoboGen: 生成的シミュレーションによるロボット学習のための無限データの活用sim2real2023/11/1
基盤モデルと生成モデルを活用し、タスク・シーン・訓練監督を自動生成する生成的シミュレーションによって、多様なロボットスキルを大規模に学習するエージェントを提案した。
- 拡散モデルによる適応的オンライン再計画拡散モデル計画2023/10/1
拡散モデルを用いた計画において、既存計画の尤度に基づいて再計画のタイミングを判断し、元の目標状態を維持しつつ効率的に再計画する手法を提案。
- 大規模言語モデルによる汎化可能な長期的マニピュレーションマニピュレーション2023/10/1
LLMを用いて新規物体や未見タスクに対応するためのプリミティブタスク条件を生成し、DMP軌道を調整することで長期的なロボットマニピュレーションを実現するフレームワークを提案した。
- ConceptGraphs: 知覚と計画のためのオープンボキャブラリ3Dシーングラフ3Dシーングラフ2023/9/1
2D基盤モデルを多視点統合して3Dシーングラフを構築し、言語プロンプトによる計画タスクを可能にするオープンボキャブラリ表現を提案。
- A²Nav: 基盤モデルの視覚言語能力を活用した行動認識型ゼロショットロボットナビゲーションナビゲーション2023/8/1
大規模言語モデルで複雑なナビゲーション指示を行動単位のサブタスクに分解し、行動特化データで学習した方策でゼロショット視覚言語ナビゲーションを実現した。
- 3D-LLM：3次元世界を大規模言語モデルに注入する3D-LLM2023/7/1
3D点群を入力とし、キャプション生成や3D質問応答、ナビゲーションなど多様な3Dタスクを実行できる3D-LLMを提案。300k以上の3D言語データを収集し、2D VLMをバックボーンに訓練することで、空間情報をより良く捉える。
- 大規模言語モデルを用いた協調型身体性エージェントのモジュール構築VLA2023/7/1
LLMを認知モジュールに組み込み、知覚・記憶・実行を統合した協調型身体性エージェントCoELAを構築し、分散制御下での多エージェント協調タスクを効率的に解決できることを示した。
- Physion++：物体の潜在的な物理特性のオンライン推論を必要とする物理的シーン理解の評価物理推論ベンチマーク2023/6/1
物体の質量・摩擦・弾性・変形性といった直接観測できない潜在的な物理特性を、動きや相互作用から推論できるかを評価する新しいデータセットとベンチマークPhysion++を提案し、最先端の予測モデルと人間の予測性能を比較した。
- SafeDiffuser: 拡散確率モデルによる安全な計画計画/拡散モデル2023/6/1
制御バリア関数を拡散モデルのノイズ除去過程に組み込み、迷路経路生成や脚式ロボット歩行、3D操作などの計画タスクで安全性を保証する手法を提案した。
- 効率的なオンライン方策適応のためのハイパー決定トランスフォーマーVLA2023/4/1
決定トランスフォーマーにハイパーネットワークで初期化される適応モジュールを追加し、少数のデモンストレーションから未知の物体操作タスクに効率的に適応できるようにした。
- DexDeform: 人間のデモンストレーションと微分可能物理による巧みな変形物体操作マニピュレーション2023/4/1
人間のテレオペレーションデモからスキルモデルを学習し、微分可能物理で計画を洗練させて、多指ハンドによる変形物体操作を実現するフレームワークを提案。
- PAC-NeRF：物理拡張連続体ニューラル放射場による形状未知のシステム同定sim2real2023/3/1
多視点動画から物体の形状と物理パラメータを同時推定するため、連続体力学の保存則に従うハイブリッドEuler-Lagrange表現のNeRFを提案し、弾性体・砂・流体など多様な材料で有効性を示した。
- 協調知覚における対応同定のための深層マスク付きグラフマッチング協調知覚2023/3/1
複数ロボットが観測した物体の対応関係を同定するため、視覚・空間・GPS情報を統合するマスク付きニューラルネットワークによるグラフマッチング手法を提案し、自動運転の協調知覚で最高性能を達成した。
- FluidLab: 複雑な流体操作をベンチマークするための微分可能環境流体操作2023/3/1
複雑な流体力学を扱う多様な操作タスクを備えたGPU加速の微分可能シミュレーション環境FluidLabを提案し、強化学習と軌道最適化手法で評価した。
- マルチビュー画像からの3D概念学習と推論3D推論2023/3/1
マルチビュー画像から3D表現を構築し、視覚言語モデルとニューラル推論を組み合わせて3D視覚質問応答を行うフレームワークを提案し、大規模ベンチマークを構築した。
- SoftZoo：多様な環境での移動のためのソフトロボット共同設計ベンチマークソフトロボティクス/共同設計2023/3/1
多様な環境での移動を対象に、ソフトロボットの形態と制御を同時最適化する共同設計アルゴリズムを評価するためのベンチマークプラットフォームSoftZooを提案し、既存手法を比較分析した。
- RoboNinja: 多素材物体のための適応的切断ポリシーの学習マニピュレーション2023/2/1
柔らかい部分と硬い芯を持つ物体（例：アボカド）を対象に、芯を傷つけずに軟部のみを切断する適応的切断ポリシーを学習するシステムを提案。微分可能な切断シミュレータと力覚センサによる衝突フィードバックを活用し、実機で展開した。
- 点群からの時空間抽象化による変形物体操作の計画変形物体操作2022/10/1
点群を潜在ベクトルに変換し、スキル系列を計画することで、包丁やローラーなど複数の道具を使う変形物体操作を実世界で実現した。
- マルチオブジェクトナビゲーションのための能動カメラ学習ナビゲーション2022/10/1
複数物体への効率的なナビゲーションを実現するため、カメラの動きを強化学習問題として定式化し、ナビゲーション方策と協調する能動カメラ方策を学習する手法を提案した。
- ニューラルODEの前方不変性についてニューラルODE2022/10/1
制御バリア関数を用いてニューラルODEの出力仕様を保証する手法を提案し、表現学習や衝突回避で検証した。
- 音と視覚の非同期統合による落下物体の探索マルチモーダル知覚2022/7/1
3D仮想環境で物体が落下する音を聞き、カメラとマイクを備えたロボットが音と視覚情報を統合して物体の種類と位置を特定するタスクを提案し、大規模データセットと模倣学習・強化学習・モジュール型プランニングのベースラインを構築した。
- 少数ショット方策汎化のためのプロンプト付きDecision TransformerVLA2022/6/1
Transformerの系列モデリングとプロンプト枠組みを活用し、少数のデモンストレーションから未知タスクに適応するオフライン強化学習手法Prompt-DTを提案した。
- 物理シミュレーションと機能予測で故障した3D物体を修理する物理推論2022/5/1
故障した3D物体を修理するため、知覚・物理ダイナミクス予測・機能予測を統合したFixNetを提案し、約5千体のデータセットFixItでベースラインを大きく上回る性能を示した。
- 微分可能物理を用いた軟体操作のための接触点発見軟体マニピュレーション2022/5/1
最適輸送に基づく接触点探索を微分可能物理ソルバに統合し、軟体プラスチックの変形操作における局所解問題を解決する手法CPDeformを提案。多段階タスク用ベンチマークPlasticineLab-Mも導入した。
- レンダリング不変な状態予測と微分可能シミュレーションによるクロスドメイン物理パラメータ推定sim2real2022/5/1
レンダリング設定が未知の動画から物理系のパラメータを推定するため、画像差分を状態差分に変換するレンダリング不変な状態予測ネットワークを微分可能レンダリングの勾配で学習する手法を提案した。
- ComPhy: 動画からの物体と事象の合成的物理推論物理推論2022/5/1
見た目では分からない質量や電荷などの隠れた物理特性を動画から推論するComPhyデータセットを提案し、既存の動画推論モデルの限界を示した。
- ニューラル音響場の学習音響場表現2022/4/1
シーン内の音の伝播を線形時不変系として捉え、任意の音源・聴取位置の組から神経インパルス応答を連続的に予測するNeural Acoustic Fieldsを提案した論文。
- DiffSkill: 微分可能物理に基づくスキル抽象化による道具を用いた変形物体操作変形物体操作2022/3/1
微分可能物理シミュレータで短期的な道具操作スキルを獲得し、RGBD画像からスキルを抽象化するニューラルネットを学習して、長期的な変形物体操作タスクを計画・実行するフレームワークを提案した。
- OPEn: タスクなしで学ぶためのオープンエンド物理環境世界モデル2021/10/1
特定タスクなしに物理環境を探索して世界モデルを学習し、下流の物理推論タスクへ転移できるかを検証するベンチマークOPEnを構築した研究。
- 敵対的オプション認識型階層模倣学習模倣学習2021/6/1
長期の未注釈デモンストレーションからスキルを学ぶため、オプションで階層をモデル化し生成的敵対的最適化で方策を訓練するOption-GAILを提案。EM型アルゴリズムで専門家とエージェントのオプション占有測度を最小化し、収束性を理論的に証明した。
- 好奇心駆動の表現学習による身体知能自己教師あり学習2021/5/1
強化学習ポリシーと視覚表現モデルを同時に学習し、ポリシーが表現学習の誤差を最大化するよう探索することで、教師なしで強い表現を獲得するフレームワークCRLを提案。
- PlasticineLab：微分可能物理を備えた軟体操作ベンチマーク軟体操作/微分可能物理2021/4/1
微分可能な弾性・塑性変形をシミュレートする軟体操作タスク集を提案し、強化学習と勾配ベース手法を比較評価した。
- ThreeDWorld輸送チャレンジ：物理的に現実的な身体性AIのための視覚誘導型タスク・動作計画ベンチマークタスク・動作計画2021/3/1
物理シミュレーション環境で、双腕エージェントが家の中の物体を探して運搬する視覚誘導型タスク・動作計画ベンチマークを提案し、既存手法の性能を評価した。
- ノイジーエージェント：聴覚イベント予測による自己教師あり探索探索/強化学習2020/7/1
音のイベントを予測する誤差を内的報酬として強化学習エージェントの探索を促し、物理環境で物体との接触行動が自然に生まれることを示した研究。
- ThreeDWorld: 対話型マルチモーダル物理シミュレーションプラットフォーム物理シミュレーション2020/7/1
高精細な画像・音声レンダリングと布・液体・変形物体を含む物理相互作用を備え、複数エージェントやVR人間参加が可能な3DシミュレーションプラットフォームTDWを提案し、視覚・学習・認知科学の初期実験を示した。
- 見て、聞いて、行動する：音視覚に基づく身体性ナビゲーション音視覚ナビゲーション2019/12/1
屋内環境でエゴセントリックな視覚・音声入力のみから音源までの最短経路を計画する音視覚ナビゲーション手法を提案し、視覚地図構築・音源定位・動的経路計画を組み合わせて新規データセットで有効性を示した。
- 逆動力学の不一致を最小化する観察からの模倣学習模倣学習2019/10/1
状態のみのデモンストレーションから模倣するLfOにおいて、模倣者と専門家の逆動力学モデルの不一致がLfDとの差であることを理論的に示し、その上限をモデルフリーに最小化するIDDMを提案した論文。
