Rainer Stiefelhagen
Karlsruhe Institute of Technology
収録論文 65本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RoboFind: 視覚障害者のためのマルチエージェント個人向け物体探索物体探索2026/9/17
スマホで対象物を教示し、四足ロボットが探索・照合するマルチエージェントシステムを構築し、実機実験で高い成功率と誤検出の低減を示した。
- GuideFetch: 支援ロボット犬における並行ナビゲーションと物体回収のためのタスク調整フレームワーク群制御2026/8/18
盲人ユーザーを案内するロボット犬と、コーヒーを回収して届ける別のロボット犬が並行して動作する状況を想定し、LLMを用いて計画を検証・実行する調整フレームワークを提案した。
- X$^2$Localizer: プログレッシブなクロスビュー動画地理的定位のためのクロス粒度アライメント地理的定位2026/8/17
本論文は、地上視点の動画を対応する航空画像に位置づけるクロスビュー動画地理的定位(CVG)を、部分的な観測や動的な時間予算に対応できるプログレッシブな設定(PCVG)に拡張し、新しいフレームワークX$^2$Localizerを提案する。
- 手中心のビデオデモからの人間からロボットへの軌道転写:オープンワールド接触位置特定によるアプローチ模倣学習/軌道転写2026/6/1
人間のビデオデモから、接触情報を考慮した多様なロボット軌道を生成するフレームワークを提案。手と物体の接触区間を特定し、把持意図をロボットの並行ジョー把持に変換して軌道を生成する。
- EgoExoMem: 同期した自己中心・他者中心ビデオにわたるクロスビュー記憶推論ビデオ理解/ベンチマーク2026/5/18
自己中心視点と他者中心視点の同期ビデオを用いたクロスビュー記憶推論のベンチマークを新たに構築し、既存のマルチモーダルLLMでは困難であることを示した。また、学習不要のフレーム選択手法E^2-Selectを提案し、ベースラインを上回る性能を達成した。
- IMPACT-Scribe: 境界スケッチとクエリ計画による対話型時間行動セグメンテーション行動セグメンテーション2026/5/3
手動修正を活用して将来の協調を改善する、手続き動画の高密度ラベリングのための対話型フレームワークを提案。
- 速さか強さか:重み付き集約とトークンプルーニングによる柔軟な視覚場所認識視覚場所認識2026/5/1
視覚場所認識の性能と推論速度を両立するため、クラスタへの重み付き集約で識別性を高め、トークンプルーニングで特徴抽出コストを削減する手法を提案した。
- IMPACT-HOI: 開始点固定型部分HOIイベント構築のための監督制御データアノテーション2026/5/1
人間のデモからロボット操作を学習するための高品質な構造化データを生成するため、一人称視点の手順動画における人-物体インタラクション(HOI)のイベントグラフを、人間とAIの協調で効率的にアノテーションするフレームワークを提案した。
- ノイズラベルを伴う睡眠ステージングのためのマルチソースドメイン汎化手法時系列分類/ドメイン汎化2026/4/1
睡眠ステージングにおけるラベルノイズとドメインシフトが共存する問題に取り組み、時間・周波数特徴と早期学習正則化を組み合わせたFF-TRUSTを提案し、5つの公開データセットで最先端性能を達成した。
- 犬には障害物でなく人間には危険:盲導犬ロボットのための共自我ナビゲーションシステム歩行2026/3/1
盲導犬ロボットのナビゲーションにおいて、ロボットの地面センサーでは検知できないが人間の身長では危険な障害物(例:曲がった枝)を扱うため、ユーザーの視点を統合した二重分岐の回避システムを提案し、実験で有効性を示した。
- RefAtomNet++: 意味検索に基づくマルチトラジェクトリMambaによる参照的原子ビデオ行動認識の高度化VLA2025/10/1
自然言語で指定された人物の細粒度行動を認識するタスク(RAVAR)に対し、部分キーワード・シーン属性・文全体の3階層で意味を揃えたクロスアテンションとマルチトラジェクトリMambaを組み合わせたRefAtomNet++を提案し、大規模データセットRefAVA++で評価した。
- ノイズラベル下のオープンセット領域汎化のための証拠信頼性対応残差フローメタ学習メタ学習2025/10/1
ノイズラベルを含むデータで未知カテゴリを新領域で認識するオープンセット領域汎化のため、証拠的信頼性と残差フローマッチングを組み合わせたメタ学習手法を提案し、最先端性能を達成した。
- 不完全ラベル下でのLiDARセマンティックセグメンテーションにおける単一ドメイン汎化の探求LiDARセグメンテーション2025/10/1
LiDAR点群のノイズラベル下でのドメイン汎化タスクを新たに定義し、ベンチマークを構築するとともに、強弱2分岐のDuNeフレームワークを提案して最先端性能を達成した。
- スナップ・セグメント・デプロイ:ウェアラブル産業アシスタントのための視覚データと検出パイプライン産業支援/オンデバイスVLM2025/7/1
オンデバイスで動作する軽量物体検出・音声認識・RAGを統合した産業アシスタントを提案し、ドメインシフトに強い二段階学習とGear8データセットで有効性を示した。
- RoHOI: 人物-物体インタラクション検出のためのロバスト性ベンチマーク人物-物体インタラクション検出2025/7/1
人物-物体インタラクション検出モデルのロバスト性を評価する初のベンチマークRoHOIを提案し、20種類の汚染条件下での性能低下を分析。ロバスト性向上のためのSAMPL戦略も提案。
- HopaDIFF: 多人数シーンにおける参照人物行動セグメンテーションのための全体・部分認識フーリエ条件拡散モデル行動セグメンテーション2025/6/1
テキスト記述で指定した人物の行動を多人数動画から切り分ける新タスクを提案し、133本の映画からなるデータセットRHAS133と、全体・部分の長距離推論とフーリエ条件を組み合わせた拡散モデルHopaDIFFを構築した。
- ノイズラベル下での動画ベース運転者行動認識の探求行動認識2025/4/1
運転者行動認識においてラベルノイズに対処する初の手法を提案し、クラスタリングとサンプル選択で高精度化を実現した。
- VISO-Grasp: 視覚言語情報に基づく空間物体中心の6自由度能動視点計画と遮蔽・不可視環境での把持マニピュレーション2025/3/1
基盤モデルを活用し、深刻な遮蔽環境でも対象物体を把持するため、空間関係を考慮した能動視点計画と多視点不確実性融合による6自由度把持を実現したシステム。
- 遮蔽を考慮したシームレスセグメンテーションセグメンテーション2024/7/1
パノラマ画像の狭い視野・遮蔽・ドメインギャップを同時に解決する新タスクOASSを提案し、データセットBlendPASSと手法UnmaskFormerを構築した。
- 指示付き原子行動認識行動認識2024/7/1
テキスト記述に基づいて特定人物の原子行動を動画から認識する新タスクRAVARを提案し、データセットRefAVAと専用手法RefAtomNetを構築した。
- ノイズラベルに頑健な骨格ベース人間行動認識フレームワークNoiseEraSAR行動認識2024/3/1
骨格データによる行動認識で問題となるラベルノイズに対処するため、サンプル選択・共教示・クロスモーダルMoEを統合したNoiseEraSARを提案し、ベンチマークで最高性能を達成した。
- EchoTrack: 自動運転のための音声指示によるマルチオブジェクト追跡マルチオブジェクト追跡2024/2/1
音声指示に基づいて動画内の特定物体を追跡するAR-MOTタスクを提案し、音声と映像を双方向に融合するEchoTrackフレームワークと大規模ベンチマークを構築した。
- モダリティ欠損シーンセグメンテーションのためのフーリエプロンプトチューニングマルチモーダルセグメンテーション2024/1/1
自動運転のマルチモーダルセグメンテーションにおいて、モダリティの欠損やセンサーエラーに対処するタスクを設定し、欠損を考慮したモダリティスイッチ戦略とフーリエプロンプトチューニングを提案した。
- 骨格ベース行動認識におけるオープンセットシナリオへの対応行動認識2023/12/1
骨格データのみを用いたオープンセット行動認識タスクを定式化し、未知行動を棄却するためのクロスモーダルな距離ベースアンサンブル手法CrossMaxを提案した。
- 量子化蒸留:リソース制約環境向け運転者行動認識モデルの最適化行動認識2023/11/1
知識蒸留とモデル量子化を組み合わせて3D MobileNetを軽量化し、運転者行動認識モデルの精度を保ちつつモデルサイズを3分の1、推論時間を1.4倍改善した。
- CoBEV: 奥行きと高さの相補性を活用した路側3D物体検出の高度化3D物体検出2023/10/1
路側カメラの単眼3D物体検出において、奥行き特徴の幾何情報と高さ特徴の意味情報を相補的に融合するCoBEVを提案し、BEV表現を構築して検出精度とロバスト性を向上させた。
- 効率的なマルチモーダル自己教師あり学習による骨格ベース行動認識の向上行動認識2023/9/1
骨格データを用いた行動認識において、モダリティ間の性能差を考慮した知識交換モジュールと新たなモダリティを導入し、関係性蒸留で効率化を図る手法を提案。
- 遮蔽環境における自己教師あり骨格ベース行動認識の探求行動認識2023/9/1
遮蔽された骨格系列に対応するため、クラスタ非依存KNN補完と遮蔽部分時空間学習を組み合わせた自己教師あり学習フレームワークIosPSTLを提案し、NTU-60/120の遮蔽版で最高性能を達成した。
- 視覚障害者支援のためのオープンシーン理解:接地状況認識とSegment Anythingの融合シーン理解2023/7/1
視覚障害者支援に向け、接地状況認識(GSR)とSegment Anything Model(SAM)を組み合わせ、物体のピクセル単位の密なセグメンテーションマスクを生成するOpenSUシステムを提案。純粋なTransformer骨格とGELU活性化で性能と収束を改善し、SWiGデータセットで最先端を達成。
- OAFuser: ライトフィールド意味セグメンテーションのための全開口融合ライトフィールドセグメンテーション2023/7/1
ライトフィールドカメラの冗長な角度情報を効率的に処理し、中心視点とサブアパーチャ画像を融合して高精度な意味セグメンテーションを実現するOAFuserを提案。
- 幾何特徴に基づく移動ロボット向けの密結合LiDAR-視覚SLAMSLAM2023/7/1
LiDARと単眼視覚SLAMを密結合し、幾何特徴の深度とセマンティクスを融合してバンドル調整に方向最適化を加えることで、移動ロボットの自己位置推定を高精度化・堅牢化した研究。
- 多様なドメインにおける行動認識のための少数ショット適応の探求ドメイン適応2023/5/1
行動認識における少数ショットドメイン適応の新しいベンチマークを5つのデータセットで構築し、少数のラベル付き目標ドメイン動画を知識ガイダンスとして活用するRelaMiX手法を提案した。
- FishDreamer: 魚眼画像の意味補完を統合的な画像外挿とセグメンテーションで実現魚眼セグメンテーション2023/3/1
魚眼カメラの死角領域を含む画像全体のテクスチャと意味情報を、ViTと極座標対応クロスアテンションを用いて同時に推定する新手法を提案し、専用データセットも構築した。
- 実環境における活性化筋群推定に向けて筋活動推定2023/3/1
動画から身体活動中の活性化筋群を推定する新タスクAMGEを提案し、HIIT動画15K件超を含むMuscleMapデータセットと、動画と骨格のマルチモーダル融合モデルTransM3Eを構築した。
- MateRobot:視覚障害者向けウェアラブルロボティクスにおける素材認識ウェアラブルロボティクス2023/2/1
視覚障害者が触れる前に物体や素材を認識できるよう、軽量なセグメンテーションモデルMateViTを搭載したウェアラブル視覚ロボットシステムを開発し、実地テストで低い認知負荷を確認した。
- マルチモーダル行動予測のための先読み特徴融合トランスフォーマ行動予測2022/10/1
複数モーダルのデータを早期に統合するトランスフォーマベースの手法を提案し、行動予測タスクで最先端性能を達成した。
- あらゆるドメインの背後にはシフトがある:歪み対応Vision Transformerの全天球セマンティックセグメンテーションへの適応セマンティックセグメンテーション2022/7/1
全天球画像の歪み・物体変形に対応するDeformable Patch EmbeddingとDeformable MLPを備えたTrans4PASS+を提案し、擬似ラベル補正による相互プロトタイプ適応と新データセットSynPASSを導入して、ドメイン適応型全天球セマンティックセグメンテーションで最高性能を達成した。
- サブアテンション融合に基づくマルチモーダルうつ病推定マルチモーダル2022/7/1
音声・視覚・テキストのマルチモーダルデータからうつ病を自動推定するため、サブアテンション機構と畳み込み双方向LSTMを組み合わせた手法を提案し、DAIC-WOZベンチマークで有効性を示した。
- Trans4Map: 視点中心画像から全周知覚セマンティクスへの俯瞰マッピングをVision Transformerで再考するマッピング2022/7/1
一人称視点の画像列から俯瞰視点のセマンティックマップを生成する、単一ステージのTransformerベースのエンドツーエンド手法を提案し、従来手法より少ないパラメータで高精度を達成した。
- パノラマパノプティックセグメンテーション:モバイルエージェントのための周囲解析への教師なし対照学習による洞察セグメンテーション2022/6/1
ピンホール画像で学習したモデルを教師なし対照学習でパノラマ画像に適応させ、周囲全体を理解するパノラマパノプティックセグメンテーションを実現した。
- RGB-Dセンサと動的SLAM・パノプティックセグメンテーションによる視覚障害者向け屋内ナビゲーション支援視覚障害者支援/ナビゲーション2022/4/1
RGB-Dセンサでパノプティックセグメンテーションと自己位置推定を行い、動的障害物を検出・追跡して音響フィードバックで視覚障害者に伝える屋内支援システムを提案した。
- 歪みを考慮したTransformerによる全天球セマンティックセグメンテーションへの適応セマンティックセグメンテーション2022/3/1
ピンホール画像の注釈を全天球画像のセグメンテーションに活用するため、歪みと物体変形を学習するDeformable Patch EmbeddingとDeformable MLPを備えたTransformerと、教師なしドメイン適応のための相互プロトタイプ適応を提案した論文。
- マルチソース混合サンプリングとメタ学習による事故シーンの堅牢なセマンティックセグメンテーションセマンティックセグメンテーション2022/3/1
正常シーンの複数ソースドメインを異常シーンの見た目で拡張するマルチドメイン混合サンプリングとメタ学習を組み合わせ、事故シーンへのセグメンテーション汎化性能を高めるMMUDAフレームワークを提案した論文。
- 視覚・LiDARセンサと航空画像を用いた連続的自己位置推定自己位置推定2022/3/1
車載カメラとLiDARのデータを航空正射画像に位置合わせし、GNSSに頼らず車両の連続的な自己位置を推定する手法を提案。KITTI-360で平均絶対位置誤差0.94mを達成した。
- MatchFormer: 特徴マッチングのためのTransformer内でのアテンション交互配置特徴マッチング2022/3/1
階層型エンコーダの各段で自己アテンションによる特徴抽出とクロスアテンションによるマッチングを交互に行うことで、低テクスチャ環境でも高精度かつ高速な特徴マッチングを実現した研究。
- TransDARC:潜在空間の特徴量キャリブレーションを備えたトランスフォーマーによる運転者行動認識行動認識2022/3/1
車内の運転者行動を認識するため、視覚トランスフォーマーと潜在特徴空間での特徴分布キャリブレーションを組み合わせたフレームワークを提案し、センサ変化に対する汎化性能と認識精度を向上させた。
- CMX: TransformerによるRGB-Xセマンティックセグメンテーションのためのクロスモーダル融合マルチモーダル融合2022/3/1
深度・熱・偏光・イベント・LiDARなど多様な補助モダリティを統一的に扱うTransformerベースの融合フレームワークCMXを提案し、複数のRGB-Xベンチマークで最先端性能を達成した。
- 多様な遮蔽に頑健なワンショット骨格行動認識への取り組み骨格行動認識2022/2/1
骨格系列のワンショット行動認識において、ランダム遮蔽と日常物体による現実的な遮蔽のベンチマークを構築し、3ストリームと混合注意融合を用いたTransformerモデルTrans4SOARを提案した論文。
- TransKD:効率的なセマンティックセグメンテーションのためのTransformer知識蒸留セマンティックセグメンテーション2022/2/1
大規模Transformer教師の特徴マップとパッチ埋め込みを蒸留し、FLOPsを85%以上削減したコンパクトな生徒Transformerを学習する枠組みを提案。
- 視野を超えた転移:教師なしドメイン適応による高密度パノラマ意味セグメンテーションドメイン適応2021/10/1
ピンホール画像で学習したモデルをラベルなし360度パノラマ画像に適応させる教師なしドメイン適応タスクを定式化し、新データセットDensePASSと注意機構付き適応フレームワークP2PDAを提案した論文。
- DensePASS: 注意機構強化型コンテキスト交換による教師なしドメイン適応を用いた高密度パノラマ意味セグメンテーションドメイン適応/パノラマセグメンテーション2021/8/1
ピンホールカメラ画像で学習したモデルをラベルなしの360度パノラマ画像に適応させる教師なしドメイン適応タスクを定式化し、新データセットDensePASSと注意機構ベースのフレームワークを提案した論文。
- Trans4Trans:透明物体と意味的シーン分割のための効率的Transformerによる視覚障がい者ナビ支援セグメンテーション2021/8/1
ガラス扉などの透明障害物を分割できるデュアルヘッドTransformerモデルTrans4Transを提案し、深度情報と組み合わせたウェアラブル支援システムで安全なナビゲーションを実現した。
- 空飛ぶ盲導犬:ドローンとTransformerによる歩行可能経路の発見視覚障害者支援/ドローン2021/8/1
ドローンと街路画像のセマンティックセグメンテーションを用いて視覚障害者の歩行可能な経路を案内する「空飛ぶ盲導犬」プロトタイプを提案し、信号認識用データセットも構築した。
- MASS: LiDARデータの密な上面俯瞰理解のためのマルチアテンション意味セグメンテーションLiDARセグメンテーション2021/7/1
LiDARの柱・占有特徴を入力に、グラフ注意・LSTM注意・柱注意の3ブロックで360度の密な上面セグメンテーションマスクを生成するモデルを提案し、SemanticKITTIとnuScenes-LidarSegで高精度を達成した。
- HIDA:ウェアラブル固体LiDARと3Dインスタンスセグメンテーションによる視覚障害者向け屋内理解支援システム3Dセグメンテーション/視覚障害支援2021/7/1
固体LiDARで取得した3D点群を軽量なインスタンスセグメンテーションモデルで解析し、障害物回避と物体探索を音声案内する視覚障害者向け支援システムを提案・実証した。
- Trans4Trans:透明物体セグメンテーションで視覚障害者の歩行を支援する効率的Transformerセグメンテーション2021/7/1
ガラス扉などの透明物体を高精度にセグメンテーションする二頭型Transformerモデルを開発し、携帯GPUで動作するウェアラブル歩行支援システムとして実証した。
- ゲームで遊んで行動認識:ライフシミュレーションゲームから日常生活行動を学習する行動認識2021/7/1
人気ゲーム『The Sims 4』内で意図的に行動を実行して日常生活行動(ADL)認識用データセットSims4Actionを作成し、実世界動画への転移を評価するGamingToRealベンチマークを提案した研究。
- Pose2Drone:骨格姿勢推定に基づく人-ドローンインタラクションフレームワーク人-ドローンインタラクション2021/5/1
骨格姿勢推定を用いて腕のジェスチャーでドローンを操作し、安全距離を保ちながらユーザーを追従するHDIフレームワークを提案。単眼画像のみで距離推定も行い、11種類のジェスチャー認識で平均93.5%の精度を達成した。
- 視覚障害者向けウェアラブルシステムにおけるリアルタイム意味セグメンテーションとシーン認識による知覚フレームワーク視覚障害者支援/意味セグメンテーション2021/3/1
視覚障害者支援のため、ResNetを基盤に意味セグメンテーションとシーン認識を同時に行う軽量な知覚システムを開発し、ウェアラブルベルト上で実時間動作を実現した。
- 視覚障害者向けナビゲーション知覚のためのPanoptic Lintentionネットワーク視覚障害者支援/パノプティックセグメンテーション2021/3/1
線形時間・線形空間で長距離相互作用をモデル化するLintention注意機構を提案し、それを用いたパノプティックセグメンテーションモデルで視覚障害者の歩行支援を効率化した。
- パノラマパノプティックセグメンテーション:教師なし対照学習による完全な周囲理解に向けてセグメンテーション2021/3/1
通常のピンホール画像で学習した特徴をパノラマ画像に転移するPanoramic Robust Featureフレームワークを提案し、周囲全体を理解するパノラマパノプティックセグメンテーションの精度を向上させた。
- 全天球セグメンテーションのための全方位コンテキストの獲得全方位セグメンテーション2021/3/1
360度画像の長距離依存を直接捉えるEfficient Concurrent Attention Networksを提案し、マルチソース・全方位教師あり学習とWildPASSデータセットで全天球セマンティックセグメンテーションの性能を大幅に向上させた論文。
- 動的受容野時間注意ネットワークによる街路シーン変化検出変化検出2021/3/1
時間注意の依存範囲サイズの影響を調べ、軽量な動的受容野時間注意モジュールと水平垂直同時注意を導入して街路シーンの変化検出精度を向上させた論文。
- DS-PASS:周囲センシングのためのSwaftNetによる詳細感度の高い全周環状セマンティックセグメンテーションセマンティックセグメンテーション2019/9/1
ピンホールカメラ用の既存セグメンテーションネットワークを全周画像に適応させるフレームワークを提案し、注意機構付き横方向接続で詳細感度を高めたSwaftNetがリアルタイムで高精度を達成することを示した。
- フレーム単位の指差しジェスチャー認識:潜在動的CRFによる連続検出ジェスチャー認識2015/10/1
骨格情報から各フレームで指差しジェスチャーを約83%の精度で分類し、任意長の連続区間を検出することで誤検出率0.63%の高信頼な指差し検出を実現した。
