Oliver Kroemer
Carnegie Mellon University
収録論文 65本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 制約を満たすフローポリシーサンプリング制約付き生成/フローポリシー2026/11/5
フローマッチング方針の推論時に、未学習の制約を満たしつつ方針の尤度を保つサンプリング手法CS-Piを提案。射影と棄却を組み合わせ、効率と妥当性を両立させる。
- 波を起こす:アクチュエータ間隔以下の物体を操作する膜結合デルタアレイマニピュレーション2026/9/30
8x8のデルタロボットアレイの先端を伸縮性のある布で結合し、離散的な接触を連続面に変えることで、アクチュエータ間隔より小さい物体も操作可能にした。局所的な変位場を操作プリミティブとして、複数物体の並列操作やDCT係数に基づく政策学習を実現した。
- 触覚対話知覚の物体中心表現を用いたロボットマニピュレーション学習触覚2026/9/27
触覚探索から物体の物理的性質を表す物体中心表現を学習し、それを用いて視覚的に曖昧な物体の操作方策を適応させるフレームワークを提案した。
- BEACON: 不確実性下の模倣学習のための信念を用いた適応制御模倣学習2026/9/19
隠れ状態をベイズ信念として構造化し、拡散ポリシーに条件付けることで、不確実性に応じて探索と活用を切り替える模倣学習手法を提案。
- GTA-2: 接地されたタスク軸によるロボットマニピュレーションスキル合成のためのマルチVLMフレームワークマニピュレーション2026/9/9
4つのVLMエージェントがタスクを分解し、キーポイントや軸・制御パラメータを接地させて、実機ロボットのマニピュレーションスキルをゼロショットで生成するフレームワーク。
- 視覚と触覚による推論時ポリシー誘導マニピュレーション2026/6/12
接触を伴う操作タスクにおいて、視覚と触覚の両方を用いて生成ロボットポリシーの候補行動を検証・編集する推論時誘導フレームワークViTaLを提案し、実世界の3つのタスクで成功率を大幅に向上させた。
- OGPO: 生成制御ポリシーのサンプル効率的な完全ファインチューニングロボット学習2026/5/1
拡散やフローベースの生成制御ポリシーを、オフポリシーな批判ネットワークとPPO目的関数を用いて効率的にファインチューニングする手法OGPOを提案し、操作タスクで最先端の性能を達成した。
- TacO: 物体操作のための触覚センサのベンチマーク触覚2026/5/1
物体操作における4種類の触覚センサ(視覚、音響、磁気、抵抗)の性能を、3つの操作タスクで系統的に評価し、タスクに適したセンサ選択の枠組みを提案した論文。
- 視覚フィードバックを用いた複数ケーブルの自律的な絡み解きマニピュレーション2025/12/1
視覚情報からケーブルのトポロジーと形状を推定し、把持位置と操作を計画することで、絡み合った複数のケーブルを自律的に分離する手法を提案した。
- ロボットハンドのためのマルチモーダル触覚指先設計:器用な操作の向上触覚2025/10/1
低コストで作りやすいマルチモーダル触覚センサ内蔵の指先を開発し、視覚が使えない状況でも紙コップの積み下ろしなどを高精度に操作できることを示した。
- 計画クエリに基づくモデル生成による変形可能物体操作のモデルベース制御変形可能物体操作2025/8/1
計画クエリに応じて物体の領域ごとに適応的な解像度のダイナミクスモデルを拡散モデルで生成し、木操作タスクで計画速度を2倍にした研究。
- 施設配置計画による協働ロボットの最適な対話型学習マニピュレーション2025/5/1
複数タスクにわたる協働ロボットの対話型学習を、施設配置問題として定式化し、人間の負担を最小化するクエリ選択を計画する手法を提案。
- ニューラル運動計画のためのカスケード拡散モデル運動計画2025/5/1
拡散ポリシーを用いて複雑な環境での衝突のない大域的な運動計画を学習するカスケード階層モデルを提案し、ナビゲーションやマニピュレーションで既存手法を約5%上回る性能を示した。
- 接地されたタスク軸:タスク軸コントローラと視覚基盤モデルによるゼロショット意味的スキル汎化マニピュレーション2025/5/1
スキルを物体のキーポイントと軸に基づく優先順位付きコントローラに分解し、視覚基盤モデルで意味的に類似した接地特徴を見つけることで、新しい物体へのゼロショット転移を実現した。
- 農業における樹木構造への接触を音声・視覚で分類触覚2025/5/1
農業ロボットが葉・小枝・幹・環境のどれに触れているかを、振動音と視覚情報を融合して分類するマルチモーダル手法を提案し、ロボット搭載センサへのゼロショット汎化を実証した。
- GraphSeg: グラフの辺追加と縮約によるセグメント化された3D表現3Dセグメンテーション2025/4/1
深度情報なしの少数の2D画像から、2Dの類似度と推定3D構造の二重対応グラフを構築し、辺の追加とグラフ縮約で一貫した3D物体セグメンテーションを生成する手法。
- GraphEQA: 3Dセマンティックシーングラフを用いたリアルタイム身体性質問応答VLA2024/12/1
未知環境での身体性質問応答のため、リアルタイム3Dメトリックセマンティックシーングラフとタスク関連画像をマルチモーダルメモリとしてVLMに接地し、階層的計画で探索・回答する手法を提案。シミュレーションと実環境で成功率向上と計画ステップ削減を示した。
- SonicBoom: マイクロフォンアレイによる接触位置推定触覚2024/12/1
ロボットのエンドエフェクタに取り付けた複数の接触マイクで音響信号を学習し、衝突位置を高精度に推定するシステムを開発した。
- トウモロコシ茎硝酸塩モニタリングロボットのための自律的センサ交換と校正農業ロボット2024/11/1
農業用作物モニタリングロボットにおいて、硝酸塩センサをトウモロコシ茎に挿入するための自律的なセンサ交換・校正システムを開発し、圃場で77%の成功率を達成した。
- RecoveryChaining: ロバストなマニピュレーションのための局所回復ポリシー学習マニピュレーション2024/10/1
階層強化学習を用いて、モデルベース制御器が失敗した際に発動する回復ポリシーを学習し、疎な報酬下でもロバストなマニピュレーションを実現する手法を提案。シミュレーションから実機への転移も成功。
- Tilde: DeltaHandによる器用なハンド内操作学習のためのテレオペレーションマニピュレーション2024/5/1
低コストで制御しやすいソフトロボットハンドDeltaHandと、関節を1対1で操作できるテレオペ界面TeleHand、拡散ポリシーによる模倣学習を組み合わせ、7つのハンド内操作タスクを平均成功率90%で自律実行できるシステムを構築した。
- 複数モデルのシミュレーション由来事前条件を活用した高速な行動パラメータ最適化マニピュレーション2024/3/1
複数の予測モデルを状況に応じて切り替えることで、ロボットの行動パラメータ最適化を高速化・高精度化する枠組みを提案し、sim-to-simのモデル偏差推定器が有効であることを示した。
- Hefty:農業向けマニピュレーションを推進するモジュール式再構成可能ロボットマニピュレーション2024/2/1
農業向けのマニピュレーションタスクに対応するため、移動・センサ・電源・計算・治具取付をモジュール化した再構成可能ロボットHeftyを設計・統合し、5つの実応用構成で有効性を示した論文。
- MResT: 視覚言語モデルを用いたマルチ解像度センシングによるリアルタイム制御VLA2024/1/1
異なる空間・時間解像度のセンシングを組み合わせ、視覚言語モデルで言語条件付き多タスク方策を学習し、精密・動的な操作タスクのリアルタイム制御性能を向上させた研究。
- 不正確なダイナミクスモデルのためのモデル前提条件のタスク指向アクティブラーニングアクティブラーニング/モデルベース計画2024/1/1
不正確なダイナミクスモデルを使う計画において、モデルが正確な領域(モデル前提条件)を効率的に学習するため、タスクに関連する軌道を能動的に選択するアルゴリズムを提案し、実世界の植物給水タスクで4軌道のみで約80%の性能向上を達成した。
- 雑然環境におけるセンサ挿入による自律的な作物モニタリング農業ロボティクス2023/11/1
トウモロコシの茎に硝酸塩センサを自律的に挿入する接触型表現型解析ロボットを開発し、圃場実験で検出94%、把持90%、挿入60%の成功率を達成した。
- ロボットによる樹木操作に向けて:グラフ表現の活用マニピュレーション2023/11/1
樹木のような作物の接触による変形をグラフニューラルネットワークで学習し、変形予測モデルと操作方策を構築した研究。
- 相互作用する物体の物性推定:Sum-GP-UCBによるベイズ最適化sim2real2023/10/1
複数の物体が相互作用するシーンから、各物体の物性パラメータをベイズ最適化で推定する手法を提案。報酬をシーンごとに分解し、部分評価で効率化した。
- DELTAHANDS: デルタロボットを用いた協調型巧みなハンドフレームワークマニピュレーション2023/10/1
デルタロボットを指に用いた柔軟で再構成可能な巧みなハンドを提案し、物体把持や遠隔操作による布畳み・キャップ開け・ケーブル整理で有効性を示した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 階層的接触探索によるロボットマニピュレーションの器用さ向上マニピュレーション2023/7/1
接触を活用した階層的計画フレームワークHiDexを提案し、モンテカルロ木探索で物体運動・接触モード・経路を計画して、多様な器用な操作タスクを数秒で解く。
- モデル予測メタ推論による効率的なリカバリ学習マニピュレーション2022/9/1
接触の多いマニピュレーションタスクにおいて、シミュレーションで失敗モードを探索し、リカバリ方策を効率的に学習するオンラインアルゴリズムを提案。ドア開けタスクで成功率を大幅に向上させた。
- 構造的遷移モデルによるグラフ上の動的推論マニピュレーション2022/9/1
接触モードを動的に推定するグラフ構造と局所線形な遷移モデルを同時学習し、iLQRなどの最適制御で複雑な動的タスクを実行可能にした。
- 変形可能物体操作のための動力学モデルの焦点適応変形物体操作2022/9/1
ロープや植物など変形物体の操作において、ソース環境と動力学が類似する領域にのみモデル適応を集中させることで、データ効率の良いオンライン適応手法FOCUSを提案した。
- DeltaZ: 研究・教育向けの低コスト準拠デルタロボットマニピュレータマニピュレーション2022/7/1
3Dプリント可能な低コストのセンチメートル級デルタ型ロボットを開発し、研究・教育・強化学習ベンチマークとしての利用可能性を示した。
- 触覚フィードバックを用いた布の層を一枚ずつ掴む学習触覚2022/7/1
ロボットの指先に触覚センサを取り付け、布を何層掴んでいるかを分類することで、積み重なった布から指定した枚数だけを掴み取る手法を提案した。
- 柔軟な分散器用マニピュレーションのためのリニアデルタアレイマニピュレーション2022/6/1
64台のリニア駆動デルタロボットを柔軟リンクで結合した分散マニピュレータを開発し、強化学習を用いて物体の移動・整列・把持などの協調操作を実現した。
- 複数モデルを用いた計画のためのモデル事前条件の学習マニピュレーション2022/6/1
実世界の状態と遷移モデルの出力の誤差を予測するモデル偏差推定器を学習し、各モデルが正確に機能する条件を定義して、計画時に高速なモデルを優先しつつ適切に切り替える手法を提案した。
- 接触の多いマニピュレーションのためのハイブリッド力・速度制御器の事前条件の学習マニピュレーション2022/6/1
棚やキャビネットのような制約環境での接触を伴う操作のため、ハイブリッド力・速度制御器(HFVC)のスキル表現と、点群ベースの学習された事前条件を用いた探索型タスクプランナを提案し、シミュレーションで訓練した事前条件が実世界にも転移することを示した。
- 人間とロボットの協働チームにおける学習とタスク割り当ての相乗的スケジューリング人間ロボット協働2022/3/1
限られたタスクを最小の労力で完了するため、ロボットが自律実行・人間への委任・学習すべきタスクを計画問題として定式化し、混合整数計画法とスキル転移予測で効率的に解く手法を提案した。
- 実践による学習:因果推論・制御・強化学習で動的システムを制御する制御/強化学習2022/2/1
因果推論・制御・強化学習の融合を目指し、動的システムを望む状態へ導く制御を推論する競技を開催し、その課題設定と参加手法をまとめた論文。
- 学習したスキル効果モデルを用いた探索ベースの生涯ロボットマニピュレーション計画タスク計画2021/9/1
パラメータ化スキルの効果モデルをシミュレーションで学習し、そのモデルを使って探索ベースのタスク計画を行うことで、新しいスキルやタスクに生涯適応できる手法を提案した。実世界への転移も追加学習なしで可能であることを示した。
- カーネギーメロン大学TartanチームによるMBZIRC 2020での迅速展開可能な自律航空機のミッションレベルロバスト性UAV自律制御2021/7/1
視覚と制御の一般的技術を用い、成果監視と回復戦略でミッション構造にロバスト性を組み込んだ自律UAVシステムを開発し、MBZIRC 2020で実機評価した。
- 適応的サンプリング:アルゴリズムと人間によるウェイポイント選択の比較適応的サンプリング2021/4/1
環境の空間モデル構築のため、情報量の多い観測地点を選ぶ際に人間と適応的サンプリングアルゴリズムの性能を比較し、モデル仮定が実際の場と合致する場合はロボットが平均的な人間より優れ最良の人間と同程度だが、合致しない場合は両者ともランダムサンプリングと変わらないことを示した。
- 因果推論で操作方策の構造を学び転移するCRESTsim2real2021/3/1
シミュレーション内で介入を行い操作に必要な状態だけを特定し、その状態で学習した方策を実世界へ転移する手法を提案した論文。
- 接触を伴う切替線形力学系のための反応的・予測的な微分可能制御器の学習マニピュレーション2021/3/1
接触による力学モード切替を切替線形力学系で近似し、離散時間LQRを微分可能方策として専門家デモから学習することで、複数モードにまたがり予測外の接触にも反応できる制御戦略を実現した。
- キーポイントを用いた物体中心タスク軸コントローラの汎化マニピュレーション2021/3/1
物体ごとのタスク軸コントローラを組み合わせたモジュール型方策を提案し、多視点密対応学習で視覚入力からパラメータを推定することで、形状や大きさの多様な物体へのマニピュレーション汎化を実現した。
- 食べ物と遊んで学ぶ:インタラクティブ探索による食品表現の学習マニピュレーション2021/1/1
ロボットアームと複数センサで21種類の食品を操作・計測し、視覚・音・固有感覚を統合したトリプレット損失による埋め込み学習で食品の材料・形状分類性能を向上させた研究。
- 単一画像から関節物体の部位と関節機構を推定するFormNet関節物体認識2020/12/1
RGB-D画像1枚とセグメンテーションマスクから、物体部位間の関節の種類とパラメータを予測するニューラルネットワークFormNetを提案し、実画像にも汎化できることを示した。
- スキル前提条件のための関係学習マニピュレーション2020/12/1
物体間のペア関係を学習するモデルを提案し、シミュレーションで訓練した後に実世界のマニピュレーションタスク(掃き・切断・積み下ろし)のスキル前提条件予測に応用して精度向上を実現した。
- 階層的な物体中心コントローラの構成を強化学習で学習するロボットマニピュレーションマニピュレーション2020/11/1
物体中心のサブタスクコントローラを強化学習で動的に階層構成し、サンプル効率・未知環境へのゼロショット汎化・実機転移を改善した研究。
- 研究向けモジュール式ロボットアーム制御スタック:Franka-InterfaceとFrankaPyマニピュレーション2020/11/1
Franka Emika Panda研究用ロボットにカスタマイズ可能で扱いやすいインターフェースを提供するモジュール式制御スタックを開発した。高レベル命令をスキルとして抽象化し、C++の1kHz低レベル制御とPythonの高レベル命令を組み合わせ、外部センサフィードバックもリアルタイムで流し込める。
- トルクセンサなしで動作中のロボットアームの接触位置を推定接触推定2020/11/1
ドメインランダム化を用いて、関節トルクを観測せずに動作中のロボットアームの接触位置を推定するニューラルネットワークを訓練し、91.5%の検出精度と3.0cmの位置誤差を達成した。
- ロバストで精密なタスク指向把持を予測するロボット組立マニピュレーション2020/11/1
把持のロバスト性・精度・タスク性能を3つのカスケードネットワークで学習し、歯車やブラケットの組立タスクを実機で高精度に実現した。
- 不正確なモデルに基づく計画を局所スキルで補修する学習手法マニピュレーション2020/9/1
近似モデルによる計画が失敗する箇所だけを、専門家デモから学習した局所的なモデルフリーポリシーで補修することで、計画の信頼性を高めつつデータ収集コストを抑える手法を提案した論文。
- 透明・鏡面物体の把持のためのマルチモーダル転移学習マニピュレーション2020/6/1
既存の単一モーダル把持モデルをマルチモーダル知覚モデルへ転移学習させ、透明・反射物体の把持を可能にした研究。
- タスク指向の能動的探索でsim2realギャップを埋める方策学習sim2real2020/6/1
タスクに関連するシステムパラメータを特定するための探索行動を明示的に学習し、モデルベース軌道最適化と組み合わせて実世界タスクを遂行する枠組みを提案・検証した論文。
- 接触フィードバックとGPU加速ロボットシミュレーションによる把持物体の姿勢追跡把持・物体姿勢推定2020/2/1
GPUで並列化した物理シミュレーションとサンプルベース最適化を用い、把持中の物体姿勢を接触情報からリアルタイム(30Hz)で追跡する手法を提案した。
- 単一画像からのカメラ・ロボット間姿勢推定キャリブレーション2019/11/1
ロボットのRGB画像1枚から深層学習でキーポイントを検出し、PnPで外部カメラの姿勢をオンライン推定する手法を提案。実機3種で従来のオフラインキャリブレーションに匹敵する精度を実現した。
- マルチモーダル触覚データを活用したロバストな切断動作触覚2019/9/1
振動と力覚フィードバックを組み合わせて切断動作を適応させ、20種類以上の食品を安定的に切断できるロボットシステムを提案した。
- 把持後の変位を確率的に推定する精密ロボット把持マニピュレーション2019/9/1
把持の頑健性と把持後の物体変位分布を2つのCNNで予測し、シミュレーションで学習したモデルを実機にそのまま適用して精密把持を実現した。
- グラフ構造を用いた視覚的模倣学習模倣学習2019/7/1
作業空間と教師のデモ映像から対応する視覚実体を検出し、その相対的な空間配置の一致度を報酬として操作スキルを模倣する手法を提案した論文。
- ロボットマニピュレーションのための学習:課題・表現・アルゴリズムのレビューマニピュレーション2019/7/1
ロボットマニピュレーション学習の研究を統一的な枠組みで整理し、課題・表現・アルゴリズムを概観したサーベイ論文。
- 野菜のスライス作業のための意味的埋め込み空間の学習マニピュレーション2019/4/1
切断片の厚さ予測などの補助タスクで対象物の意味的特徴を捉える埋め込み空間を学習し、その潜在空間上で順モデルを学習してオンライン計画により野菜のスライス作業を行う手法を提案した論文。
- メタレベル事前分布による操作スキルの関連特徴量学習マニピュレーション2016/5/1
過去に学習したスキルから特徴量の関連度を転移するメタレベル事前分布を用い、少ない実演データで操作スキルに必要な特徴量を効率的に選択する手法を提案した。
