Gerhard Neumann
Karlsruhe Institute of Technology
収録論文 70本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 失敗前にロボットを修正する：選好学習による能動的ヒューマン・イン・ザ・ループ介入ヒューマン・イン・ザ・ループ/選好学習2026/11/3
XRインターフェースで将来の動作を事前確認し、望ましくない行動の前に介入できる枠組みを提案。修正を選好学習でポリシーに反映し、実機マニピュレーションで成功率を向上させた。
- 不動点フローマッチングによる強化学習強化学習2026/10/9
オンライン強化学習において、訓練データを必要とせずにフローポリシーを学習・微調整する不動点フローマッチング（FFM）を提案し、その有効性を実験的に示した。
- RayViT: 視点変動に頑健な模倣学習のためのレイ条件付き視覚表現模倣学習2026/7/1
カメラの幾何情報を事前学習済みViTに注入する軽量アーキテクチャRayViTを提案し、カメラの摂動に対する模倣学習の頑健性を向上させた。
- VLA-FAIL: 微調整された視覚言語行動モデルのための効率的なタスク失敗検出失敗検出2026/6/19
視覚言語行動モデル（VLA）の実行時失敗を、失敗データを必要とせず軽量に検出するフレームワークを提案。最終層のマハラノビス距離と行動チャンクの一貫性という2つの検出器を組み合わせる。
- 大規模並列オン方策強化学習のための信頼領域拡散ポリシー強化学習2026/6/13
大規模並列シミュレーションを用いたオン方策強化学習で拡散ポリシーを安定して訓練する手法TruDiを提案し、多様なベンチマークで性能を実証した。
- PAWS: アドバンテージ重み付きセグメントを用いた選好学習強化学習2026/6/10
人間の軌道比較から報酬を学習する選好ベース強化学習において、訓練と推論の不一致による分布シフトを分析し、セグメントレベルのアドバンテージ関数を直接用いた政策更新手法PAWSを提案した。ロボット操作・移動タスクで既存手法を上回る性能を示した。
- フーリエ特徴量による高精度模倣学習ポリシーの実現模倣学習2026/6/10
点群をフーリエ空間に写像して高周波特徴を直接利用できるようにし、模倣学習による高精度なロボット操作を実現した。
- 腹腔鏡下胆嚢摘出術における自動クリップ配置のための点群セグメンテーション（ファントム実験）手術ロボティクス2026/6/1
腹腔鏡手術のファントム上で、単一カメラの点群をセグメンテーションし、スプライン補間でクリップ配置目標を抽出して自動配置する初のロボットシステムを提案。少数の実データと合成データの事前学習、新規データ拡張で精度を達成した。
- 光流体アセンブリのためのエージェント型言語から目的関数への合成マイクロロボティクス2026/5/1
大規模言語モデルを用いて、音声や文章による指示を微分可能な目的関数に変換し、光流体操作による微粒子アセンブリを自動化するパイプラインを提案した。
- Nautilus: 単一プロンプトからプラグアンドプレイのロボット学習へロボット学習基盤2026/5/1
ロボット学習研究の断片化を解消するため、単一のユーザープロンプトから再現・評価・微調整・展開ワークフローを自動生成するオープンソースハーネスNAUTILUSを提案。ポリシー、シミュレータ、実ロボット間の統一インターフェースと自動検証により、手書きのグルーコードなしで相互検証を拡張する。
- XRロボット遠隔操作のためのマルチビュー3Dテレプレゼンスシステム遠隔操作2026/4/1
3台のカメラから点群を生成し、手首カメラの高解像度映像を組み合わせることで、XRロボット遠隔操作の視覚体験を向上させるシステムを提案・評価した論文。
- Robot-DIFT: 接触の多いロボットマニピュレーションのための対応感度の高い拡散特徴マニピュレーション2026/2/1
拡散モデルの特徴を蒸留して決定論的でリアルタイムなバックボーンに変換し、空間-意味特徴ピラミッドで接触に敏感な操作を可能にした研究。
- 軌道レベルメタ学習による文脈認識型メッシュベースシミュレーションsim2real2025/11/1
メッシュベースの変形シミュレーションを軌道レベルのメタ学習問題として捉え、Conditional Neural ProcessesとMovement Primitivesを組み合わせることで、限られた初期データから新しいシナリオに迅速に適応し、高速かつ高精度なシミュレーションを実現する手法M3GNを提案した。
- PointMapPolicy：マルチモーダル模倣学習のための構造化点群処理マニピュレーション2025/10/1
点群をダウンサンプリングせず規則的なグリッド状に構造化し、RGB画像と効率的に融合する拡散ポリシーを提案。複数の操作タスクで最先端性能を達成した。
- マルチエンボディメント把持エージェントに向けてマニピュレーション2025/10/1
様々なグリッパ設計に対応するデータ効率の良いフローベースの同変把持合成アーキテクチャを提案し、JAXで実装して性能と推論速度を向上させた。
- 視覚言語モデルによる巧みな操作の足場構築マニピュレーション2025/6/1
視覚言語モデルを使ってタスクに関連するキーポイントを特定し、手と物体の粗い3D軌道を生成して、シミュレーションで残差強化学習方策を訓練する手法を提案。
- タスク性能を超えて：人とロボットの協働における人間体験人間ロボット協働2025/5/1
木工ワークショップを模した環境で、軽量ロボットとの協働における自動化レベルの違いが、フロー体験・主体感・身体化といった心理指標と生理指標にどう影響するかをユーザー研究で調べた。
- 視覚を超えて：ロボットデータ収集のための拡張現実における力覚フィードバックの調査遠隔操作2025/3/1
XR環境でのロボットデータ収集において、力覚フィードバックがタスク性能とユーザー体験に与える影響をユーザー研究で調査し、高精度操作で特に有効であることを示した。
- 模倣学習のための点群と視覚表現の融合に向けて模倣学習2025/2/1
点群とRGB画像の両方を活用する模倣学習手法FPV-Netを提案し、点群エンコーダを画像トークンで条件付けすることでRoboCasaベンチマークで最先端性能を達成した。
- X-IL: 模倣学習ポリシーの設計空間を探る模倣学習2025/2/1
模倣学習ポリシーの構成要素を自由に組み替えられるオープンソースフレームワークX-ILを提案し、設計空間を体系的に探索して既存手法を上回る新構成を発見した。
- 形状変化・変形物体操作のための幾何認識強化学習マニピュレーション2025/2/1
異種グラフ表現とSE(3)同変メッセージパッシングを用いた強化学習方策HEPiを提案し、多様な形状の挿入やロープ・布操作のベンチマークで性能を向上させた。
- IRIS: 没入型ロボットインタラクションシステムXR/データ収集2025/2/1
拡張現実(XR)を用いて、多様なシミュレータや実世界環境でロボット操作とデータ収集を可能にする没入型システムIRISを提案。複数ユーザの同時インタラクションも実現。
- ロボットエアホッケー選手権の回顧：実世界ロボティクスに向けた堅牢・信頼・安全な学習技術のベンチマークsim2real2024/11/1
NeurIPS 2023で開催されたロボットエアホッケー選手権を振り返り、sim-to-realギャップや安全性など実世界展開の課題をベンチマークし、学習と事前知識の組み合わせが有効であることを示した。
- 拡張ニューラル収縮力学系：複数タスクとリーマン安全領域模倣学習2024/11/1
デモからの学習に安定性保証を与えるニューラル収縮力学系を拡張し、複数タスク対応の条件付き変種と不確実性に基づく障害物回避を導入した。
- 拡散ポリシーによるハイブリッドオフポリシー強化学習の探索強化：非把持マニピュレーションへの応用マニピュレーション2024/11/1
離散行動（接触点選択）と連続行動（動作パラメータ）を統合した最大エントロピー強化学習フレームワークを提案し、連続ポリシーを拡散モデルで表現することで多様な探索を実現。実機6D姿勢合わせタスクで成功率を53%から72%に向上させた。
- BMP：Bスプラインと運動プリミティブの橋渡し模倣学習/強化学習2024/11/1
Bスプラインを運動プリミティブとして再定式化し、境界条件の充足と軌道分布の高次統計の両立を可能にしたBMPを提案。模倣学習と強化学習で既存手法より高い表現力と適用性を示した。
- PointPatchRL：マスク付き再構成による点群強化学習の改善VLA2024/10/1
点群をパッチ分割してトークン化しTransformerで処理する強化学習手法を提案し、マスク付き再構成による表現学習を組み合わせることで、変形物体を含む複雑な操作タスクで画像ベースの手法を上回る性能を示した。
- TOP-ERL: Transformerを用いたオフポリシー・エピソディック強化学習強化学習2024/10/1
長い行動軌跡をセグメントに分割し、Transformerベースのクリティックで各セグメントの状態行動価値を推定することで、エピソディック強化学習をオフポリシーで効率的に学習する手法を提案した。
- マルチエンボディメント把持のための拡散モデルマニピュレーション2024/10/1
グリッパ形状に依存しないシーン表現とグリッパ形状を考慮した把持姿勢生成を拡散モデルで実現し、多様なグリッパ間で把持戦略を転移可能にした。
- MuTT: ロボットスキルのためのマルチモーダル軌道トランスフォーマーVLA2024/7/1
視覚・軌道・スキルパラメータを統合し、環境に応じたロボットスキルの実行を予測するエンコーダ・デコーダ型トランスフォーマーを提案。モデルベース最適化と組み合わせることで実環境実行なしにスキルパラメータを調整できる。
- MaIL: Mambaによる模倣学習の改善模倣学習2024/6/1
Transformerの代わりに状態空間モデルMambaを用いた模倣学習アーキテクチャMaILを提案し、少ないデータでも過学習を抑えて汎化性能を高め、LIBEROベンチマークと実機実験で有効性を示した。
- 拡散ポリシーを混合エキスパートへと変分蒸留する手法模倣学習2024/6/1
事前学習済みの拡散ポリシーを変分推論により混合エキスパート(MoE)へ蒸留し、複雑な行動分布を保ちつつ推論を高速化するVDDを提案。
- 混合エキスパートとカリキュラム強化学習による多様なスキル獲得強化学習2024/3/1
混合エキスパートを用いて多様なスキルを学習する強化学習手法Di-SkilLを提案し、各エキスパートのコンテキスト分布をエネルギーベースモデルで表現することで自動カリキュラム学習を実現した。
- 多様な行動に向けて：人間のデモンストレーションを用いた模倣学習のベンチマーク模倣学習2024/2/1
人間のデモに見られる多様な行動（マルチモーダル分布）を模倣学習モデルがどれだけ獲得・再現できるかを評価するためのシミュレーションベンチマーク環境とデータセット（D3IL）を提案し、多様性を定量化する指標を導入した。
- ブラックボックスを開く：時間相関エピソード強化学習のためのステップベース方策更新強化学習2024/1/1
エピソード強化学習のブラックボックスを開き、ステップ情報を活用して時間相関を考慮した方策更新を行うTCEを提案。データ効率と滑らかな探索を両立。
- ニューラル収縮力学系力学系学習2024/1/1
ニューラルネットワークで学習した力学系に収縮性による大域的安定性を保証する手法を提案し、高次元系や回転群上の姿勢制御、障害物回避にも拡張した。
- 動作プリミティブ拡散：変形可能物体のやさしいロボットマニピュレーション学習マニピュレーション2023/12/1
拡散ベース模倣学習と確率的動的動作プリミティブを組み合わせ、手術支援ロボットにおける変形物体のやさしい操作を少ないデモデータで実現する手法を提案。
- 対話型ロボットプログラミングのための大規模言語モデルのドメイン特化ファインチューニングロボットプログラミング2023/12/1
産業用ロボットのプログラミングを自然言語で支援するアシスタントを提案し、限られたデータと計算資源で基盤モデルをドメイン特化にファインチューニングする手法を検討した。
- DMFC-GraspNet: 混雑環境における微分可能な多指ロボット把持生成マニピュレーション2023/8/1
混雑シーンで多指ハンドの多様で密な把持を予測する微分可能なニューラル把持計画器を提案し、シーン生成とラベルマッピング、衝突損失と把持メトリック損失を用いたエンドツーエンド学習で有効性を示した。
- SA6D: 新規物体と遮蔽に適応する自己適応型少数ショット6D姿勢推定器6D姿勢推定2023/8/1
少数の参照画像から自己適応セグメンテーションを用いて新規物体の点群モデルを構築し、遮蔽のある実環境で6D姿勢推定を行う手法を提案。
- MP3: 運動プリミティブに基づく再計画ポリシー強化学習/運動プリミティブ2023/6/1
運動プリミティブを深層強化学習に統合し、スパースで非マルコフ的な報酬から学習しつつ、実行中の環境変化に適応できる再計画戦略を導入した手法を提案する。
- 強化学習におけるマルチモーダル表現のための再構成と対照学習の組み合わせマルチモーダル強化学習2023/2/10
センサモダリティごとに再構成損失と対照損失を適切に選択・統合するCoRALを提案し、マルチモーダル強化学習の性能を向上させた。
- 物理センサ観測によるグラフネットワークシミュレータのグラウンディングsim2real2023/2/1
点群データを活用してグラフネットワークシミュレータを実世界観測に接地させ、変形物体のメッシュ状態を長期にわたり高精度に予測する手法を提案。
- LapGym：ロボット支援腹腔鏡手術のための強化学習オープンソースフレームワーク手術ロボティクス/強化学習2023/2/1
ロボット支援腹腔鏡手術（RALS）向けの強化学習環境を構築するフレームワークLapGymと、手術訓練に基づく12の環境スイートsofa_envを公開し、PPOでベースラインを確立した。
- ムーブメントプリミティブを用いた深層ブラックボックス強化学習強化学習2022/10/1
ムーブメントプリミティブのパラメータをブラックボックス最適化するエピソードベース強化学習に、微分可能な信頼領域層を導入した深層学習アルゴリズムを提案し、疎・非マルコフ報酬で従来手法を上回ることを示した。
- 幾何記述子マッチングによる多様な行動の模倣学習模倣学習2022/10/1
人間の多様な実演から運動プリミティブ混合と分布マッチングを組み合わせ、幾何記述子を用いて新しいタスク配置へ汎化する模倣学習手法を提案した。
- ProDMPs：動的・確率的運動プリミティブの統一的視点運動プリミティブ2022/10/1
DMPの常微分方程式をオフライン計算可能な基底関数に変換し、動的システムの性質を保ちつつ高次統計も扱える確率的動的運動プリミティブ（ProDMPs）を提案した論文。
- ガウス混合モデルによる自然勾配変分推論の統一的理解変分推論2022/9/1
ガウス混合モデルを用いた変分推論の代表的手法VIPSとiBayes-GMMが本質的に同じ更新式を持つことを示し、設計選択の違いが性能に与える影響を分析した。
- アドバンテージ重み付けと早期終了を用いた実演からのロボット方策学習模倣学習/強化学習2022/8/1
実演データを活用し、アドバンテージ重み付けと自動早期終了で強化学習を効率化する手法AWETを提案し、4つのロボットタスクで有効性を示した。
- 条件付きニューラルプロセスによるカテゴリ非依存6D姿勢推定6D姿勢推定2022/6/1
未知物体の6D姿勢推定を、カテゴリに依存しないメタ学習と幾何考慮型GNNデコーダで実現し、未見物体や遮蔽シーンでも高精度を示した。
- ハイブリッド逆動力学モデルのエンドツーエンド学習による高精度で柔軟なインピーダンス制御マニピュレーション2022/5/1
剛体力学の物理モデルとリカレントニューラルネットを組み合わせたハイブリッド逆動力学モデルを提案し、7自由度マニピュレータでオフライン予測精度とインピーダンス制御の性能を検証した。
- 物理特性が未知の物体のためのメタ学習による再把持戦略マニピュレーション2022/5/1
質量分布や摩擦係数が未知の物体に対し、Conditional Neural ProcessesとDexNet-2.0を組み合わせて限られた試行から物理特性を推定し、把持点をオンラインで更新するメタ学習手法ConDexを提案した論文。
- 学習されたリーマン多様体上での反応的動作生成動作学習2022/3/1
人間のデモからVAEでリーマン計量を学習し、測地線として自然な動作スキルを生成するとともに、障害物認識メトリックで多様体を変形させてオンライン障害物回避を実現した。
- 機械的探索のための階層型方策学習マニピュレーション2022/2/1
散らかった環境から対象物を取り出すMechanical Searchを階層型POMDPとして定式化し、押し動作と行動選択のサブ方策を強化学習で学習して成功率を32%未満から約80%へ向上させた論文。
- 局所的な混合エキスパートによる多様なスキルライブラリの特化強化学習2021/12/1
最大エントロピー強化学習を混合エキスパートごとの下界最適化に分解し、局所的な文脈分布を専門家と共に適応させることで、高精度で多様なスキルを段階的に獲得する手法を提案した。
- マルチエージェント強化学習による手術ロボットの協調支援手術ロボット/マルチエージェントRL2021/10/1
胆嚢摘出のサブタスクを対象に、画像から複数器具を制御するマルチエージェント強化学習ポリシーを訓練し、人間との協調作業で完了時間短縮と衝突減少を示した。
- ロボット方策学習における密・疎（視覚）報酬の研究強化学習2021/8/1
視覚観測からタスク成功を推定する報酬（密・疎、視覚版含む）を用い、複数の深層強化学習アルゴリズムの性能をシミュレーションタスクで比較した研究。
- 農作業者を追いかけて特定するロボティクスフレームワーク人物位置推定2021/7/1
農場で働く人々を、ロボット搭載センサと安価なGNSSを組み合わせたトポロジカル粒子フィルタで個別に位置推定・追跡する手法を提案し、実農場で精度向上を実証した。
- 測地線運動スキルを学習するリーマン多様体マニピュレーション2021/6/1
人間の実演からエンドエフェクタの位置・姿勢空間上のリーマン多様体をVAEで学習し、その測地線を運動スキルとして任意点間の計画や動的障害物回避、未実演の多モード運動生成を実現した。
- 微分可能なロバストLQR層ロバスト制御2021/6/1
モデル不確実性と確率的ダイナミクス下での強化学習・模倣学習のため、ロバストLQRを凸計画として書き換え微分可能にした層を提案し、不確実性を直接モデル化しない既存手法より優れた性能を示した。
- 不確実性を伴う接触リッチなマニピュレーションタスクのための残差フィードバック学習マニピュレーション2021/6/1
既存コントローラの出力だけでなくフィードバック信号も強化学習で修正する残差フィードバック学習を提案し、位置・姿勢の不確実性下でのペグ挿入タスクで性能向上を示した。
- 行動条件付きリカレントカルマンネットワークによる順・逆ダイナミクス学習ダイナミクス学習2020/10/1
リカレントカルマンネットワークに制御行動を条件付けする2つのアーキテクチャを提案し、油圧・人工筋肉駆動ロボットなどの順・逆ダイナミクスを高精度かつ不確実性付きで学習できることを示した論文。
- 非敵対的模倣学習と敵対的手法との関連性模倣学習2020/8/1
敵対的模倣学習の不安定さを解消する非敵対的枠組みを提案し、AIRLがその一例であることを示すとともに、オフライン模倣学習アルゴリズムを導出して性能を検証した論文。
- 宇宙ロボットアームの自律軌道学習のための模倣学習模倣学習2020/8/1
物理シミュレータ上のMPCで生成した軌道データをProbabilistic Movement Primitivesで学習し、宇宙機搭載7自由度マニピュレータの軌道計画を自律化する手法を提案した論文。
- 確率的アプローチによる物体の絡み解きマニピュレーション2020/2/1
障害物による不確実性を確率マップで表現し、失敗確率をコストとしてRRTで計画することで、モデルなしで絡まった物体をロボットが解きほぐす手法を提案した。
- 模倣学習のアルゴリズム的視点模倣学習2018/11/1
ロボットなどの知能エージェントの振る舞いを手動でプログラムする代わりに、教師のデモンストレーションから学習する模倣学習について、前提・手法・関連性・アルゴリズム・実装の助言を体系的に紹介した入門論文。
- 確率的運動プリミティブの適応とロバスト学習運動プリミティブ2018/8/1
確率的運動プリミティブのパラメータに事前分布を用いて少ない訓練例でロバストに推定し、関節空間・タスク空間での汎用適応演算子を導入した。コーヒー準備と卓球タスクで有効性を検証した。
- 農業ロボティクス：ロボット農業の未来農業ロボティクス2018/6/1
食料生産チェーンが直面する人口増加や気候変動などの課題に対し、ロボティクスと自律システムの応用現状と研究・イノベーションの必要性をレビューしたホワイトペーパー。
- 不確実性下におけるハイブリッド制御の軌道最適化軌道最適化2017/2/1
離散と連続が混在するハイブリッド制御の軌道最適化をDDPに離散行動を組み込んで解き、不確実性下のPOMDP軌道計画にも拡張した研究。
- 単調改善を保証するモデルフリー軌道ベース方策最適化強化学習2016/6/1
システムダイナミクスの線形近似を使わず、軌道データから学習した局所二次Q関数を逆伝播する方策最適化法を提案し、KL制約を厳密に満たしつつ単調改善を理論的に保証した。
