Katerina Fragkiadaki
Carnegie Mellon University
収録論文 42本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 3D粒子運動として世界をモデル化する生成型ワールドモデルワールドモデル2026/11/5
3Dシーンの時間発展を粒子・剛体の運動生成として直接予測するトランスフォーマ型ワールドモデルGPWMを提案し、剛体・変形・布・粒状体を単一アーキテクチャで扱い、接触を伴う計画にも応用した。
- VLM誘導コンタクトリターゲティングと生成的パートナー状態モデリングによるヒューマノイド-人間インタラクションヒューマノイド/対人インタラクション2026/10/20
人間同士のデモから、VLMで意味的コンタクト構造を抽出してヒューマノイドへ転写し、オクルージョン下でもオンボード深度センサのみで動く接触リッチな対人インタラクションポリシーを学習するフレームワークREACTを提案。
- 単一の人間動作から適応的な器用スキルを学習するハイブリッド模倣フレームワークマニピュレーション2026/10/20
数秒の手指動作軌道を目標条件付き強化学習で学習し、人間の事前知識と汎化性能を両立させて多様な器用スキルを獲得する手法を提案。
- SkillWeaver: 神経インタラクションスキルを活用したエージェント的探索によるスケーラブルなロボットデータ生成データ生成2026/9/28
VLMエージェントが学習済みの閉ループ操作スキルを再利用・パラメータ化しながら探索し、長期的な操作データを自動生成するフレームワークを提案。
- TrackEverything: 3Dシーン表現の重複排除による長距離高密度トラッキング3Dトラッキング2026/9/24
動画を3Dシーンの持続的なトラックとして表現し、重複排除により1000フレーム超の動画でも全可視点を追跡可能にした3Dポイントトラッカー。
- EmbodiedSWE:長期的器用ロボティクスのためのコーディングエージェントVLA2026/9/23
コーディングエージェントが長期的・器用なロボットタスクを解き、その解を多様な軌道に拡張してVLAを訓練し、実機タスクまで完了できることを示した研究。
- HIGenNTO: ノイズ空間軌道最適化によるスケーラブルなヒューマノイドインタラクション生成ヒューマノイド/動作生成2026/9/18
事前学習済みテキスト条件付き動作モデルの初期ノイズを最適化し、接触を伴うヒューマノイドの動作参照を生成するフレームワーク。シミュレーションと実機Unitree G1で検証。
- GeomVLA: 3D空間でシーン・運動・行動を統合するVLAモデルVLA2026/9/12
深度とカメラキャリブレーションでVLM特徴を3Dシーントークンに持ち上げ、シーン点の将来運動を潜在表現として予測し、それを条件に3Dフロー型行動生成を行うVLAモデルを提案。CALVINなどで高性能を示した。
- 触覚ジェネシス:巧みな作業学習のための大規模触覚センサの探求触覚/シミュレーション/器用操作2026/6/1
GPU並列の触覚センサシミュレーションプラットフォームを構築し、多様な触覚センサを共通インターフェースで提供。巧みな操作タスクでセンサの種類・配置・解像度の影響を分析し、実機への転移も検証した。
- 物理シミュレータ上での強化学習による物理オリンピック問題解決物理推論/LLM/強化学習2026/4/1
物理シミュレータでランダムなシーンを生成し、合成の問答データを作ってLLMを強化学習で訓練し、実世界の物理ベンチマーク(IPhOなど)へのゼロショット転移を実証した論文。
- 支援動作の学習:マルチエージェント強化学習による物理基盤の人間-人間制御マルチエージェント強化学習2026/3/1
人間同士の支援動作(力のやり取りを伴う)を物理シミュレータ上でマルチエージェント強化学習により模倣する手法を提案し、支援者と被支援者の双方のポリシーを協調学習させることで、従来手法では困難だった支援動作の追跡を可能にした。
- Dex4D: タスク非依存の点追跡ポリシーによるSim-to-Real巧みな操作マニピュレーション2026/2/1
シミュレーションでタスク非依存の3D点追跡ポリシーを学習し、実世界の多様な巧みな操作タスクにゼロショット転移するフレームワークを提案。
- 反復的な自己修正による構成的画像生成の改善画像生成2026/1/1
視覚言語モデルを批評役として用い、テキスト画像生成モデルが複数ステップで生成を反復的に洗練させる手法を提案し、構成的なプロンプトでの生成精度を向上させた。
- RoboTAG: トポロジカルアラインメントグラフによるエンドツーエンドのロボット姿勢推定姿勢推定2025/11/1
単眼RGB画像からロボットの姿勢を推定するため、2Dと3Dの表現を協調進化させるトポロジカルアラインメントグラフを提案し、ラベルデータへの依存を軽減した。
- RobotArena ∞: 実機からシミュレーションへの変換によるスケーラブルなロボットベンチマークVLA2025/10/1
実機の動画デモを生成モデルでシミュレーション環境に自動変換し、VLAポリシーを大規模かつ再現可能に評価するベンチマークフレームワークを提案。
- 3D FlowMatch Actor:単腕・双腕マニピュレーションのための統合3Dポリシーマニピュレーション2025/8/1
流れマッチングと3D事前学習済み視覚表現を組み合わせ、単腕・双腕ロボット操作を高速かつ高精度に行う3Dポリシーを提案。
- データ制約下では拡散モデルが自己回帰モデルを上回る拡散言語モデル2025/7/1
データが乏しく計算資源が豊富な状況でマスク付き拡散言語モデルを系統的に検証し、自己回帰モデルより優れることとその理由(ランダムマスクによる暗黙のデータ拡張)を明らかにした。
- 統合マルチモーダル離散拡散モデルマルチモーダル生成2025/3/1
テキストと画像を統一的に理解・生成できる離散拡散モデルUniDiscを提案し、自己回帰型モデルより高性能かつ制御性・編集性・インペインティングに優れることを示した。
- 2Dと3Dの視覚言語理解を統合するUniVLGVLA2025/3/1
2Dの事前学習モデルを活用し、2Dと3Dの視覚言語データで学習する統合アーキテクチャUniVLGを提案。3D視覚言語グラウンディングで最先端性能を達成した。
- ロボティクスにおける深層生成モデル:マルチモーダル実演からの学習に関するサーベイ模倣学習2024/8/1
ロボットの実演学習に深層生成モデル(拡散モデルやGANなど)を活用する近年の研究を、モデル種別・応用・分布外汎化の観点から統一的に整理したサーベイ。
- 報酬勾配による動画拡散モデルのアラインメント動画生成2024/7/1
事前学習済み報酬モデルから動画拡散モデルへ勾配を逆伝播させ、少ない計算量とサンプルで下流タスクに適応させる手法を提案。
- 都市運転における離散的行動モードのための実行可能な統合予測と計画自動運転/計画2024/3/1
マルチモーダル軌道予測モデルを再学習なしで閉ループ計画に統合し、離散的な行動モード上で反応的な計画を行う手法を提案。動的な合流シナリオで従来のプランナーが陥る「凍結ロボット問題」を回避し、CARLAの高密度交通シナリオで最先端性能を達成。
- 3D Diffuser Actor:3Dシーン表現を用いた拡散ポリシーVLA2024/2/1
3Dシーン特徴と言語指示・固有感覚を融合する新しい3DデノイジングTransformerにより、ロボットの3D姿勢軌道を拡散モデルで生成するポリシーを提案し、RLBenchやCALVINでSOTAを達成した。
- Diffusion-ES: 拡散モデルと勾配不要最適化による自動運転とゼロショット指示追従自動運転/計画2024/2/1
拡散モデルから軌道をサンプリングし、進化的探索と黒箱報酬で評価・改良することで、微分不可能な目的関数でもデータ多様体上で最適化できる手法を提案し、自動運転ベンチマークnuPlanで最高性能を達成した。
- ODIN: 2Dと3Dセグメンテーションを統合する単一モデルセグメンテーション2024/1/1
トランスフォーマーで2D画像と3D点群を交互に融合し、両方をセグメンテーションする単一モデルを提案。ScanNet200などで最高性能を達成。
- RoboGen: 生成的シミュレーションによるロボット学習のための無限データの活用sim2real2023/11/1
基盤モデルと生成モデルを活用し、タスク・シーン・訓練監督を自動生成する生成的シミュレーションによって、多様なロボットスキルを大規模に学習するエージェントを提案した。
- Diffusion-TTA: 生成フィードバックによる識別モデルのテスト時適応テスト時適応2023/11/1
拡散モデルの生成フィードバックを利用して、画像分類器やセグメンタ、深度予測器などの識別モデルをテスト時に各未ラベル例へ適応させる手法を提案。
- Gen2Sim: 生成モデルによるシミュレーションでのロボット学習のスケーリングマニピュレーション2023/10/1
言語・視覚の生成モデルを活用し、3Dアセット・タスク記述・報酬関数の生成を自動化することで、シミュレーション上での多様なマニピュレーションスキル学習をスケールアップする手法を提案。
- 報酬逆伝播によるテキスト画像拡散モデルの整合拡散モデル2023/10/1
拡散モデルを下流の報酬関数に合わせるため、ノイズ除去過程を通じて報酬勾配を逆伝播するAlignPropを提案。低ランクアダプタと勾配チェックポイントでメモリを抑え、少ない学習ステップで高い報酬を達成。
- 記憶拡張型大規模言語モデルによるオープンエンドな指示可能な身体性エージェントVLA2023/10/1
対話から得た言語と行動計画のペアを外部記憶に蓄積し、検索拡張型LLMプロンプティングで自由形式の指示を行動プログラムに変換する身体性エージェントHELPERを提案。TEAChベンチマークで新たな最先端を達成した。
- Act3D: 適応解像度3D特徴フィールドトランスフォーマによるマルチタスクロボットマニピュレーションマニピュレーション2023/6/1
2Dの事前学習済み特徴を深度で3Dに持ち上げ、粗から細への点群サンプリングと相対位置アテンションで高解像度の3D行動マップを効率的に計算するマニピュレーションポリシーを提案。RLBenchで従来の2D・3D手法を上回る性能を達成。
- エネルギーベースモデルによる構成的シーン再配置のゼロショットプランナーマニピュレーション2023/4/1
言語指示を物体間の相対配置に対するエネルギー関数として表現し、その勾配降下で目標配置を生成することで、未学習の空間概念の組み合わせや長い指示にもゼロショットで対応するシーン再配置フレームワークを提案した。
- FluidLab: 複雑な流体操作をベンチマークするための微分可能環境流体操作2023/3/1
複雑な流体力学を扱う多様な操作タスクを備えたGPU加速の微分可能シミュレーション環境FluidLabを提案し、強化学習と軌道最適化手法で評価した。
- 点群からの時空間抽象化による変形物体操作の計画変形物体操作2022/10/1
点群を潜在ベクトルに変換し、スキル系列を計画することで、包丁やローラーなど複数の道具を使う変形物体操作を実世界で実現した。
- スロット中心モデルによるテスト時適応シーン分解2022/3/1
スロット中心の生成モデルとテスト時適応を組み合わせ、再構成や視点間合成の損失でシーンごとに適応し、分布外のシーン分解性能を向上させた研究。
- HyperDynamics: ハイパーネットワークによる物体・エージェントダイナミクスのメタ学習メタ学習2021/3/1
エージェントの相互作用履歴と視覚観測から環境の動的性質を推論し、ハイパーネットワークでニューラルダイナミクスモデルのパラメータを生成するメタ学習フレームワークを提案。物体押し・歩行タスクで既存手法を上回る。
- 視点不変な物体分解型3D環境シミュレータsim2real2020/11/1
RGB-D動画から物体ごとに分解された3D特徴空間を学習し、物体間の相互作用によるシーン変化を予測するダイナミクスモデルを提案。任意視点で描画可能で、実機へのsim2real転移も示した。
- 3D視覚特徴表現による身体性を伴う言語接地言語接地2019/10/1
発話をシーンの3D視覚特徴マップに対応付ける手法を提案し、2Dベースの手法より物体参照や発話の妥当性判断、配置方策の報酬生成で大きく上回る性能を示した。
- グラフ構造を用いた視覚的模倣学習模倣学習2019/7/1
作業空間と教師のデモ映像から対応する視覚実体を検出し、その相対的な空間配置の一致度を報酬として操作スキルを模倣する手法を提案した論文。
- 遮蔽環境下での物体操作のための能動視覚の強化学習マニピュレーション2018/11/1
カメラとグリッパーを協調制御し、遮蔽物があっても対象物体を見失わずに操作できる能動視覚ポリシーを強化学習で獲得した研究。
- 学習済みスキルとダイナミクスを用いた先読み探索によるマニピュレーション強化学習強化学習/マニピュレーション2018/11/1
多目標RLで学習したスキルとその粗いダイナミクスを先読み探索に用い、探索を誘導することで複雑なマニピュレーション方策を効率的に学習する手法を提案した論文。
- 実演のナレーションから報酬を学習するVLA2018/4/1
教師が実演しながら自然言語で説明したデータから、言語表現と視覚的報酬検出器を対応付け、指示可能な行動方策を学習する手法を提案。
