Hermann Blum
University of Bonn
収録論文 41本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 動く前に探索方針を決める:拡散モデル生成の探索参照を用いた半静的環境でのゼロショット物体ナビゲーション物体ナビゲーション2026/11/11
半静的環境で、LLMによる物体共起事前分布と拡散モデルで移動前に探索経路の参照を生成し、VLMを毎ステップ呼ばずにゼロショットで目的物体を探すObjectNav手法を提案。
- 確率的チャレンジによる実世界ロボットマニピュレーションのベンチマークベンチマーク2026/11/9
実世界でのマニピュレーション性能を再現可能かつ比較可能に評価するため、ランダムなタスクサンプルを用いた「確率的チャレンジ」という新たなベンチマーク手法を提案し、異なる研究室の2台のロボットで実証した。
- ForceTwin: 計測された人間の操作からロボットマニピュレーションのための物理情報デジタルツインを構築マニピュレーション2026/9/18
力覚グリッパで人間が物体を操作した際の姿勢と力を用い、慣性・摩擦・機構動力学を含む物理情報デジタルツインを同定する手法を提案し、インピーダンス制御のフィードフォワードモデルとして目標達成率を大幅に改善した。
- DINOcular: 自己教師あり視空間表現の学習視覚表現学習2026/8/27
RGB-D観測から視覚と空間情報を同時に学習する自己教師ありフレームワークを提案し、3D認識性能を向上させつつセマンティック転移も維持する。
- Map-Det3D: ストリーミング入力からの多視点3D物体検出のためのメトリックフィードフォワード3D再構築事前知識3D物体検出2026/8/12
単眼ビデオから直接メトリック3D空間で物体検出を行うため、RGBから3D再構築するフィードフォワードモデルを幾何学的バックボーンとして利用し、2Dから3Dへのリフティングを回避する新しいオンライン多視点3D物体検出モデルを提案した。
- DVPSFormer: 自動運転のための効率的なオンライン深度対応ビデオパノプティックセグメンテーションパノプティックセグメンテーション2026/7/28
自動運転向けに、深度・セマンティックセグメンテーション・インスタンス追跡を統合したオンライン4Dシーン理解アーキテクチャを提案。明示的なシーン離散化とオンライン多数決により、リアルタイム処理を実現し、ベンチマークでSOTAを達成。
- コンタクトフロー:異なる身体構造間で転移可能なビデオ行動条件付け世界モデル2026/7/1
操作における接触点の3D軌跡を行動表現として用いることで、人間のデモと異なるロボット間で共有可能な世界モデルを構築し、物理的に妥当な操作結果を予測する手法を提案した。
- LIME: 一人称視点ビデオから意図を考慮したカメラモーションを学習するカメラモーション生成2026/7/1
ロボットが自然言語の指示に基づいて次に観察すべきカメラの相対姿勢を生成する手法を提案。一人称ビデオから多様な意図とカメラ動作のペアを学習し、観察利得の予測と連続的なフローマッチングによる姿勢生成を組み合わせる。
- ArtiTwinSplat: RGB-Dビデオからのガウシアンスプラッティングによるインタラクティブなデジタルツイン再構築デジタルツイン/3D再構築2026/6/1
RGB-Dビデオから物体の可動部構造と関節運動を自動推定し、写真のようにリアルで操作可能なデジタルツインを構築するフレームワークを提案。CADモデルや手動アノテーションを不要とし、実世界の観測から直接ロボットの計画・学習に使えるモデルを生成する。
- SYMBOLIZER: VLMを用いたシンボル不要のモデルフリータスクプランニングタスクプランニング2026/4/1
視覚言語モデル(VLM)を用いて画像からシンボル状態を推定し、アクションモデルを必要としないドメイン非依存の探索でタスクプランニングを行うフレームワークを提案した。
- OpenFrontier: 視覚言語に基づくフロンティアを用いた汎用ナビゲーションナビゲーション2026/3/1
視覚言語モデルを活用し、フロンティアを意味的アンカーとして用いることで、タスク固有の学習や微調整なしに効率的なゼロショットナビゲーションを実現するフレームワークを提案。
- 開世界モバイルマニピュレーションのための関節3Dシーングラフモバイルマニピュレーション2026/2/1
RGB-D動画から物体の関節運動を推定し、親子関係を含む意味的・運動学的3Dシーングラフを構築するフレームワークMoMa-SGを提案。
- Hoi!:力に基づくクロスビュー関節物体操作のマルチモーダルデータセットマニピュレーション2025/12/1
人間とロボットの4つの操作形態で関節物体を操作した3048シーケンスを収録し、視覚・力・触覚を統合したデータセットを構築した。
- ActLoc: 能動的視点選択による移動中の自己位置推定ナビゲーション2025/8/1
地図構築時のカメラ姿勢を学習し、任意の3D位置でのヨー・ピッチ方向の自己位置推定精度を予測する注意機構モデルを提案。これを経路計画に組み込み、タスク・運動制約下で自己位置推定が最も頑健になる視点を能動的に選ぶ枠組み。
- osmAG-LLM: セマンティックマップと大規模言語モデルの推論によるゼロショットオープンボキャブラリ物体ナビゲーション物体ナビゲーション2025/7/1
高精細な地図ではなく環境の文脈とLLMの意味的知識を組み合わせ、物体が移動・未マップでも能動的に探索して目的物体へ到達するナビゲーションシステムを開発した。
- Spot-On: 複数ロボット協調のための複合現実インターフェース複合現実/群制御2025/5/1
複合現実(MR)を用いて複数の四足歩行ロボットを操作し、引き出しやドア、照明スイッチなどの協調作業を可能にするフレームワークを提案し、ユーザビリティを検証した。
- FunGraph: 機能を考慮した3Dシーングラフによる言語プロンプトに基づくシーン操作3Dシーングラフ2025/3/1
3Dリソースから2Dデータを生成して学習した検出器で、アフォーダンスに関わる部位を細粒度で検出し、3Dシーングラフ生成パイプラインを拡張することで、言語指示に基づく機能的なシーン操作を可能にした研究。
- 二視点ループ閉じによる再構築不要なスケーラブル軌道推定VSLAM2025/3/1
再構築を行わず、二視点ループ閉じと単眼深度事前分布を活用して、スケーラブルなVisual SLAMを実現する2GOシステムを提案。
- FrontierNet: 視覚的手がかりで探索する学習モデル探索2025/1/1
RGB画像と単眼深度からフロンティアを提案し情報利得を予測する視覚ベースの探索システムを開発し、3D地図依存の手法より初期探索効率を15%改善した。
- ロスト&ファウンド:一人称視点観測による3D動的シーングラフの変化追跡動的シーングラフ2024/11/1
一人称視点の記録から物体の6DoF姿勢を追跡し、動的シーングラフをオンライン更新する手法を提案。ロボットの教示・再現に応用可能。
- HoloSpot: 複合現実のドラッグ&ドロップによる直感的な物体操作遠隔操作2024/10/1
スキャンした部屋を縮小模型のホログラムとして表示し、ドラッグ&ドロップで指示した物体操作をSpotロボットの実動作に変換するMRインターフェースを開発した。
- SpotLight: インタラクションとアフォーダンス検出によるロボットのシーン理解アフォーダンス2024/9/1
VLMを用いたアフォーダンス予測で照明スイッチの操作を実現し、物理的インタラクションを通じてシーングラフの関係を学習するフレームワークを提案。
- どこを見るべきかを学習:幾何情報を用いた能動的定位のための自己教師あり視点選択能動的定位2024/7/1
幾何情報を活用した自己教師あり学習により、ロボットが定位精度を高めるための視点をリアルタイムに選択する手法を提案し、合成・実データで既存手法を上回る性能を示した。
- NeuSurfEmb: CADモデル不要の密対応ベース6D物体姿勢推定パイプライン6D姿勢推定2024/7/1
少数の実画像からNeural Surface表現を学習し、その新規視点合成とカット&ペースト拡張で姿勢推定器を訓練することで、CADモデルなしで高精度な6D物体姿勢推定を実現した。
- Spot-Compose: 点群におけるオープンボキャブラリ物体検索と引き出し操作のフレームワークマニピュレーション2024/4/1
市販の3Dスキャナで得た点群を使い、オープンボキャブラリなインスタンス分割と把持姿勢推定を組み合わせて、実環境で物体の動的ピッキングと引き出し開けを行うフレームワークを構築した。
- SNI-SLAM: 意味論的ニューラル暗黙表現SLAMSLAM2023/11/1
ニューラル暗黙表現を用いて、意味論的マッピング・高品質な表面再構成・頑健なカメラ追跡を同時に行うSLAMシステムを提案。階層的意味表現とクロスアテンションによる特徴統合、特徴レベル損失を導入し、ReplicaとScanNetで高精度を達成。
- 人間とロボットのチーム作業のための3D複合現実インターフェース複合現実/ヒューマンロボットインタラクション2023/10/1
複合現実デバイスを用いて、壁越しにロボットの位置や3Dマップを可視化し、ドラッグ&ドロップで目標位置を指示できるシステムを開発した。
- マルチエージェント協調のための能動的視覚自己位置推定:データ駆動型アプローチ自己位置推定2023/10/1
異なる視点を持つロボットやデバイスの地図上で自己位置を推定するため、最適な視点を選択するデータ駆動型手法を提案し、シミュレーションと実環境で既存手法を上回る性能を示した。
- ニューラルレンダリングによる教師なし連続セマンティック適応セマンティックセグメンテーション2022/11/1
各シーンのSemantic-NeRFを訓練し、レンダリングしたセマンティックラベルを擬似ラベルとしてセグメンテーションモデルを連続的に適応させる手法を提案。
- SCIM: オープンワールド意味理解のための同時クラスタリング・推論・マッピング意味理解2022/6/1
未知環境でロボットが新規物体を自律的に発見し、既知クラスの精度を向上させるため、マッピングとクラスタリングを統合し自己教師あり学習信号を生成するフレームワークを開発した。
- 情報経路計画による意味セグメンテーションのための身体性能動ドメイン適応能動学習/ドメイン適応2022/3/1
屋内環境で意味セグメンテーションモデルを自己教師ありドメイン適応させるため、モデルの不確実性を利用した情報獲得量に基づく経路計画でデータを収集する自律エージェントを提案した論文。
- SL Sensor:建設ロボティクス向け高精度オープンソース構造光センサ3Dセンシング2022/1/1
位相シフト法を用いて5Hzで高精度な点群を生成するROSベースの構造光センサを開発し、市販深度カメラより高精度であることを示すとともに、移動中でも動作可能な補償手法を提案した。
- 2D-3D相補表現を用いたセマンティックセグメンテーションの継続的適応セマンティックセグメンテーション2021/11/1
ロボット運用中に2D予測を3Dマップへ確率的に蓄積して教師信号を生成し、継続学習でセグメンテーションネットを環境に適応させる手法を提案した。
- 他タスクの視点で自らの失敗を検知するマルチタスク注意機構マルチタスク知覚2021/10/1
セグメンテーションや深度推定など複数の視覚タスク間の相関を注意ネットワークで活用し、各タスクの予測失敗を検出する手法を提案した論文。
- 屋内自己位置推定のための自己改善型セマンティック知覚自己位置推定2021/5/1
ロボットが配備中に継続学習と自己教師あり学習を組み合わせ、セマンティック知覚をオンラインで改善し屋内3D自己位置推定精度を向上させるシステムを提案した。
- 建築3D計画図におけるロボットの高精度位置推定位置推定2020/6/1
設計図と実環境のずれに対応するため局所参照とLiDAR・画像の外れ値検出を組み合わせ、建設現場で従来手法より30%以上高精度に自己位置推定するシステムを提案した。
- 自動運転レースカーの高精度マッピングと計画自動運転/マッピング/計画2020/3/1
カメラとLiDARの融合、階層的マッピング、ベイズフィルタによる計画を組み合わせ、未知のコースで高速走行しながら高精度な地図を作成する自動運転レースカーのパイプラインを開発した。
- 建設現場でミリ精度を実現する移動マニピュレータの統合センシング・制御システム建設ロボティクス2019/12/1
移動マニピュレータが建設現場で建物タスクをミリ精度で遂行できるよう、マルチモーダルセンシングとデジタル建物モデルを統合した制御システムを開発し、実機でサブセンチ精度を実証した。
- 特徴空間の密度学習による屋内シーンの信頼性の高いセグメンテーションセグメンテーション2019/8/1
屋内環境において、正規化フローで背景記述子の確率分布を学習し、分布外の領域を前景物体として検出することで、未知の物体にも頑健な前景/背景セグメンテーションを実現した。
- UAVによるセマンティックマッピングのための能動学習能動学習2019/8/1
深層学習の不確実性推定に基づく新規性評価を経路計画に組み込み、地形マッピング用の訓練データ収集を効率化するシステムを提案し、実データで従来の網羅的収集より大幅に少ないデータで済むことを示した。
- セマンティックセグメンテーションのためのモジュラー型センサフュージョンセンサフュージョン2018/7/1
モダリティごとに独立して学習でき、少量のキャリブレーションで統計的に融合するセマンティックセグメンテーション手法を評価し、単一モダリティより最大5%IoUを改善した。
