Abhinav Valada
University of Freiburg
収録論文 149本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 生スペクトルからのレーダー3D知覚再考：自己教師あり表現学習レーダー知覚2026/11/9
生のレーダースペクトルを直接学習するため、スペクトル漏れを模したマスク付きオートエンコーダを提案し、手作り前処理なしで3D知覚を実現した論文。
- WayPOP: パノラマ型オープンセット・パノプティック追跡ベンチマークオープンセット知覚/ベンチマーク2026/11/4
Waymoの実走行データに未知物体を3D合成して、多カメラ時系列で未知物体を一貫してセグメンテーション・追跡できるかを評価する新ベンチマークを構築した。
- 深層ピクセル-点対応を用いた汎化可能なターゲットレスカメラ-LiDAR内部・外部同時キャリブレーションキャリブレーション2026/10/27
生画像とLiDARスキャンからカメラ内部パラメータ・歪み・外部パラメータを同時推定するターゲットレス手法を提案し、未校正カメラでも高精度なキャリブレーションを実現した。
- Expand-and-Prune：候補空間をテスト時に拡張・剪定する自動運転プランナ自動運転計画2026/10/16
学習済みパラメータを更新せずに、テスト時に候補軌道を意図や時間伝播で拡張し、不確実性に基づいて剪定することで、候補ベースの自動運転プランナの性能を向上させるフレームワーク。
- ラベル不要の多様性：知覚と行動を横断するタスク非依存コアセット選択データ選択2026/10/16
視覚基盤モデルのニューロン活性化分布を画像ごと・データセット全体で比較し、ラベルやタスク知識なしに高品質なデータ部分集合（コアセット）を選ぶ手法CoreDNAを提案。分類・セグメンテーション・深度推定・運転やマニピュレーションの模倣学習で既存手法を上回る。
- 不確実性駆動型セルフプレイによる堅牢なマルチエージェント運転ポリシー自動運転/マルチエージェント2026/10/14
エージェントの認識的不確実性を利用して難易度の高いシナリオを自動生成するセルフプレイ手法を提案し、手動設計なしで運転ポリシーのゼロショット汎化性能を向上させた。
- 夢で覚える：世界モデルによる汎用ロボット方策の継続的ステアリングVLA2026/10/9
凍結した汎用ロボット方策を、事前学習済み世界モデルによる想像ロールアウトでリハーサルしながら継続的に新タスクへ誘導し、破滅的忘却を防ぐ手法D2Rを提案。
- 条件付きフローマッチングによる効率的なマルチタスクマニピュレーションポリシーの蒸留マニピュレーション2026/9/23
単一タスクの条件付きフローマッチング専門家から速度場を蒸留し、モデルサイズを固定したままマルチタスク操作ポリシーの性能を向上させる手法を提案。
- 視覚ベース点群マップ事前情報を活用したカメラによる3D物体検出とオンラインベクトル化HDマッピング自動運転知覚2026/9/22
過去のカメラ走行からPi3Xで点群事前マップを構築しDINOv3特徴を付与、実行時にBEVでカメラ特徴と融合して3D物体検出とベクトル化HDマップ生成を改善する手法を提案。
- 関係性に基づく潜在ワールドモデルによる自動運転自動運転/ワールドモデル2026/9/21
交通シーングラフを意味的教師信号として使い、視覚的潜在表現を訓練時に整合させることで、推論時には追加計算なしに軌道予測誤差と衝突率を改善した。
- CounterPlay: 自己対戦運転ポリシーのための反事実的ポストトレーニング自動運転2026/9/18
失敗したタスクから過去の状態に戻り、慎重から積極的までの運転スタイルで再試行し、他車に新たな衝突を起こさない成功例だけを蒸留する自己対戦ポストトレーニング手法を提案。
- TaPeR: 少数のデモンストレーションからの疎なタスク先行関係グラフの確率的復元タスク計画2026/8/21
人間のデモンストレーションから、タスクの部分的な順序関係（先行関係）を確率的に推定し、ロボットが柔軟にサブタスクを並べ替えられるようにする手法を提案した論文。
- ケアロボットに関する人間中心の考察：介護者の視点の比較研究ケアロボット2026/8/3
米国、メキシコ、チリの介護者298人を対象に、4種類のケアロボット（物品搬送、ベッド移動補助、バイタルサイン監視、移動支援）に対する認識を混合手法で調査し、国を超えて概ね肯定的な評価が得られた一方、倫理的懸念（依存性、人間の監督、雇用への影響）も明らかにした。
- 行動から注意を学ぶ：ポリシー学習のための創発的視覚ボトルネック視覚的注意/ロボット学習2026/8/1
行動教師信号のみから注目領域（ROI）を学習するSeekerを提案し、RGBクロップやマスク拡張、点群フィルタリングの空間インターフェースとして利用。実機で成功率を大幅に向上させた。
- 片手はもう一方を見る：動的環境でのサンプル効率的な両腕操作のための動的マルチエージェント協調両腕操作2026/7/1
動的環境や両腕協調操作において、従来のマルチストリームポリシーが前提とする因果的独立性が崩れる問題を解決するため、反対側の腕を動的タスクパラメータとして扱う軽量なフレームワークDynaMACを提案し、静的デモから動的環境へのゼロショット一般化を実現した。
- センサ構成が重要：四足ロボットにおけるマルチモーダルSLAMの系統的評価SLAM2026/6/17
四足ロボットの過酷な運動下でのSLAM性能に対するセンサ構成（カメラ種別、シャッター方式、IMU性能）の影響を、ANYmal Dのデータセットを用いて系統的に評価した論文。
- CoPark: 自己対戦による反応的駐車の学習自動運転/強化学習2026/6/1
複数車両が互いに反応しながら高精度に駐車するための、残差ポリシーと自己対戦強化学習を組み合わせた手法を提案。事前計算された計画を基盤に、相手の脅威に応じて縦方向の制御を残差ヘッドに委譲しつつ横方向は基準に固定することで、精度と安全性を両立する。
- 3Dシーングラフ：未解決の課題と今後の方向性シーン理解2026/6/1
3Dシーングラフ（3DSG）の研究分野を統一的にレビューし、定義の整理、構築手法、応用、評価方法を解説するとともに、今後の課題と方向性を提示したサーベイ論文。
- ストリーミングガウス符号化による4Dパノプティック占有追跡4D占有追跡2026/6/1
カメラベースの4Dパノプティック占有追跡において、時間的に持続するガウス表現を導入し、幾何学的な時間一貫性を向上させた新しい手法を提案した。
- 自己教師ありオンライン型ロボット非依存 traversability 推定：オープンワールド環境向けナビゲーション2026/5/1
ロボットが未ラベルの経験から連続的に学習し、安全で効率的な経路を選択できるようにする、自己教師ありオンライン traversability 推定フレームワーク COTRATE を提案した。
- AnchorD: 因子グラフを用いた単眼深度のメートル単位接地深度推定2026/5/1
単眼深度推定の予測を、因子グラフ最適化によりセンサ実測深度に局所的に合わせ込む訓練不要のフレームワークを提案。非ランバート面を含む実環境ベンチマークで精度向上を実証した。
- Hyp2Former: オープンセットパノプティックセグメンテーションのための階層認識双曲埋め込みセグメンテーション2026/5/1
既知カテゴリの階層構造を双曲空間で学習し、未知物体を高次概念に近づけて検出するオープンセットパノプティックセグメンテーション手法を提案。
- 過去走行の点群地図事前情報を活用したカメラベース3D物体検出・追跡3D物体検出/追跡2026/4/1
カメラのみの3D物体検出・追跡において、過去走行で得た静的LiDAR点群地図を事前情報として活用し、深度の曖昧さを補う手法を提案した。
- BLINK: NK細胞傷害活性の行動潜在モデリング細胞動態モデリング2026/3/5
NK細胞と腫瘍細胞の相互作用動態を潜在状態空間モデルで学習し、細胞傷害の結果を予測・解釈可能な行動モードに分類する手法を提案した論文。
- クラス増分型運動予測運動予測2026/3/1
カメラ画像から新たな物体クラスが逐次追加される状況で将来軌道を予測する初のエンドツーエンド枠組みを提案し、既知クラスの性能を保ちつつ新規クラスに適応できることを示した。
- ニューラルコンパス：ロボット探索のための確率的相対特徴場探索/確率モデル2026/3/1
未ラベルの観測のみから物体の共起関係を学習し、事前学習済み視覚言語モデルの特徴分布を予測するモデルを提案。この分布を探索の事前知識として利用し、物体探索エージェントの効率を向上させる。
- LAD-Drive: 言語と軌道を橋渡しする行動認識拡散トランスフォーマー自動運転2026/3/1
自動運転向けに、高レベルの意図と低レベルの空間計画を構造的に分離し、行動認識拡散デコーダを用いて安全で運動学的に実現可能な軌道を生成するフレームワークを提案した。
- 時間的抽象化による前向き・後向き表現のスペクトル整合表現学習2026/3/1
連続制御における前向き・後向き表現の低ランク学習で生じるスペクトル不整合を、時間的抽象化がローパスフィルタとして働き緩和することを理論的・実験的に示した研究。
- Sparse3DTrack: スパースな教師信号を用いた単眼3D物体追跡3D物体追跡2026/3/1
単眼3D物体追跡を、ビデオ全体で少数のラベルだけを使って学習できる初のスパース教師ありフレームワークを提案。2Dマッチングと3D幾何推定を分離し、疑似ラベル生成で既存の教師あり手法を高精度化する。
- 3Dシーングラフ上の関係意味推論によるオープンワールド対話型物体探索物体探索2026/3/1
3Dシーングラフ上で関係探索ヒューリスティクスを用いて効率的に物体を探索するSCOUTを提案し、LLMから軽量モデルへの知識蒸留とベンチマークSymSearchを導入した。
- 自動運転における3D知覚誤差評価のための努力ベース重要度指標自動運転知覚2026/3/1
自動運転の3D知覚における偽陽性・偽陰性誤差が運転操作に与える影響を、速度低下や減速度などの「努力」指標で定量化する手法を提案し、nuScenesとArgoverse 2で評価した。
- SparTa: 少数のデモンストレーションからのスパースグラフィカルタスクモデルマニピュレーション2026/2/1
少数のデモンストレーションから、物体間の関係をグラフで表現したタスクモデルを学習し、長期的なマニピュレーションタスクを実行する手法を提案。
- 4Dパノプティック占有追跡のための潜在ガウススプラッティング4D占有追跡2026/2/1
動的環境の4D時空間構造を捉えるため、3D特徴を動的なガウス点群として表現し、多視点特徴を集約して占有追跡を行う手法を提案。
- ParkDiffusion++: 自動駐車のための自己意図条件付きマルチエージェント軌道予測軌道予測2026/2/1
自動駐車において、自己の複数の意図を予測し、それぞれの意図に対する周囲エージェントの共同応答を拡散モデルで予測する手法を提案。
- 開世界モバイルマニピュレーションのための関節3Dシーングラフモバイルマニピュレーション2026/2/1
RGB-D動画から物体の関節運動を推定し、親子関係を含む意味的・運動学的3Dシーングラフを構築するフレームワークMoMa-SGを提案。
- 生成的基盤モデルによる単一の人間実演からの模倣学習スケーリング模倣学習2026/2/1
単一の人間実演からReal2Genで操作方策を学習し、シミュレーションで大量データを生成して流マッチング方策を訓練、実世界にゼロショット展開する。
- ForecastOcc: 視覚ベースのセマンティック占有予測セマンティック占有予測2026/2/1
過去のカメラ画像から将来の占有状態とセマンティックカテゴリを直接予測する初のフレームワークを提案し、複数視点と単眼の両設定でベンチマークを確立した。
- 関節物体のオンライン推定と操作マニピュレーション2026/1/1
視覚事前情報と固有感覚を因子グラフで統合し、未知の関節物体の関節状態をオンライン推定しながら操作する手法を提案。実機で75%の成功率を達成。
- Hoi!：力に基づくクロスビュー関節物体操作のマルチモーダルデータセットマニピュレーション2025/12/1
人間とロボットの4つの操作形態で関節物体を操作した3048シーケンスを収録し、視覚・力・触覚を統合したデータセットを構築した。
- 基盤モデル誘導BEVマップによる3D物体検出と追跡の融合自動運転知覚2025/10/1
DINOv2の特徴をBEV表現に蒸留し、透視図とBEVのハイブリッド表現で3D物体検出・追跡を高精度化する手法を提案。
- 実環境における関節物体の推定関節物体推定2025/9/1
動的なカメラ移動と部分観測の下で、RGB-D動画から関節物体のパーツ軌跡と関節軸を推定するフレームワークArtiPointを提案し、新データセットArti4Dで評価した。
- MSG: サンプル効率の高いロボットマニピュレーションのためのマルチストリーム生成ポリシーマニピュレーション2025/9/1
複数の物体中心生成ポリシーを推論時に合成することで、わずか5回のデモンストレーションから高品質なポリシーを学習し、サンプル効率と汎化性能を大幅に向上させる手法を提案。
- マルチモーダル大規模言語モデルによる選好に基づく長期的ロボット積み重ねマニピュレーション2025/9/1
マルチモーダルLLMを高レベルプランナとして用い、重さや安定性などの選好を考慮した長期的な積み重ねタスクを実現する。カスタムデータセットで微調整し、シミュレーションと実機ヒューマノイドで有効性を示した。
- ハイパースペクトル画像のためのビジョン基盤モデル対応アダプタセグメンテーション2025/9/1
RGB向けに学習されたビジョン基盤モデルを活用し、ハイパースペクトル画像のセマンティックセグメンテーションを高精度化するアダプタを提案した論文。
- DiWA: 世界モデルによる拡散ポリシーの適応拡散ポリシー/世界モデル/オフラインRL2025/8/1
世界モデルを活用し、拡散ポリシーをオフライン強化学習でファインチューニングするフレームワークDiWAを提案。実環境との相互作用を大幅に削減し、CALVINベンチマークで8タスクの性能を向上させた。
- 階層的クラス増分セマンティックセグメンテーションによる動的ロボット支援手術セグメンテーション2025/8/1
ロボット支援手術のためのクラス増分セグメンテーション手法TOPICS+を提案し、手術環境向けのベンチマークと144クラス超のラベルを整備した。
- 違いに配慮した設計：人間の特性が協働ロボットの知覚に与える影響HRI2025/7/1
オンライン実験で112人が28種類の人間とロボットの協働動画を評価し、ロボットの行動と相手の特性（高齢者など）が評価にどう影響するかを調べた。
- cVLA: 効率的なカメラ空間VLAに向けてVLA2025/7/1
視覚言語モデルを活用し、画像座標でエンドエフェクタの軌道ウェイポイントを直接予測する軽量なVLAを提案。シミュレーションで訓練し実機への転移性能を示した。
- 不確実性を考慮した学習によるオープンセットLiDARパノプティックセグメンテーションLiDARセグメンテーション2025/6/1
LiDARパノプティックセグメンテーションにおいて、未知の物体クラスを検出するために、ディリクレ分布に基づく証拠学習で予測不確実性をモデル化し、不確実性を活用して未知インスタンスを識別・セグメンテーションするフレームワークULOPSを提案した。
- ロボット方策学習における離散時間ガウス過程混合の不合理な有効性模倣学習2025/5/1
カメラ観測のみを用いた5件程度のデモからロボット操作方策を学習する離散時間ガウス過程混合(MiDiGap)を提案し、CPUで1分未満で学習でき、衝突信号や運動制約による推論時の誘導で障害物回避や機体間転移も実現した。
- MORE: 接地された言語推論による移動マニピュレーション再配置移動マニピュレーション2025/5/1
シーングラフと能動的フィルタリングでタスク関連サブグラフを抽出し、言語モデルによるゼロショットの長期的移動マニピュレーション計画を高信頼化する手法を提案。BEHAVIOR-1Kで大幅に性能向上。
- 深層グラフ合意による視覚的ループ閉じ込み検出SLAM2025/5/1
視覚的に類似したキーフレームのクリークをグラフニューラルネットワークで処理し、ループ閉じ込みの合意を推定するLoopGNNを提案。高精度・高再現率で従来手法を上回る。
- ParkDiffusion: 拡散モデルを用いた自動駐車における異種マルチエージェント・マルチモーダル軌道予測軌道予測2025/5/1
拡散モデルを使い、駐車場での車両と歩行者の将来軌道を不確実性も含めて予測する手法を提案。二重マップエンコーダやエージェント種別埋め込み、運動学的制約を導入し、既存手法を大きく上回る精度を達成した。
- 自然言語対話によるロボットタスクの曖昧性解消VLA2025/4/1
言語指示の曖昧さをシーンに基づいて検出・解消するAmbResVLMを提案し、実機で下流ポリシーの成功率を69.6%から97.1%に改善した。
- 外観と運動の手がかりを学習するパノプティックトラッキングパノプティックトラッキング2025/3/1
動的な環境でロボットが時空間的にシーンを理解できるよう、外観と運動の手がかりを別々のネットワークヘッドで捉え、二段階融合で統合するパノプティックトラッキング手法を提案した。
- OpenLex3D: オープンボキャブラリ3Dシーン表現のための階層的評価ベンチマーク3Dシーン理解2025/3/1
Replica、ScanNet++、HM3Dのシーンに同義語や詳細記述を含む新規ラベルを付与し、オープンボキャブラリ3Dシーン表現を評価するベンチマークを提案。既存手法の失敗事例や改善点を明らかにする。
- 動的都市環境のオープン語彙理解のための協調的動的3Dシーングラフシーングラフ/協調認識2025/3/1
複数のカメラとLiDAR観測を初期姿勢未知のまま統合し、都市走行シーンの階層的オープン語彙3Dシーングラフを協調生成するエンジンCURB-OSGを提案。実世界のOxford Radar RobotCarデータセットで単一エージェントより高精度なマッピングと物体予測を実証した。
- マルチモーダル軌道予測のためのエビデンシャル不確かさ推定軌道予測2025/3/1
自動運転の軌道予測において、位置とモード確率の不確かさを1回の順伝播でリアルタイムに推定するエビデンシャル深層学習手法を提案し、Argoverseデータセットで精度と信頼性を検証した。
- ラベル効率的なLiDARパノプティックセグメンテーションLiDARセグメンテーション2025/3/1
少量のラベル付き画像から2Dネットワークで疑似ラベルを生成し、点群の幾何特性を活かした3D精緻化モジュールで精度を高めてLiDARパノプティックセグメンテーションを学習する手法を提案。
- LiDAR点群の自己教師あり学習のためのマルチスケール近傍占有マスク付きオートエンコーダ自己教師あり学習/3D点群2025/2/1
LiDAR点群の自己教師あり学習において、非マスクボクセルの近傍のみで占有再構成を行うことで情報漏洩と計算コストを抑え、複数スケールのマスク生成で多様な物体特徴を捉えるNOMAEを提案し、nuScenesとWaymoで最先端性能を達成した。
- ROVER: 多季節対応の視覚SLAMデータセット視覚SLAM2024/12/1
公園や庭園などの自然環境で季節・照明・植生の変化に対応する視覚SLAMアルゴリズムを評価するため、単眼・ステレオ・RGBDカメラと慣性センサを搭載したロボットで5地点・全季節・39記録を収集したベンチマークデータセットを構築し、従来手法と深層学習手法の性能を比較した。
- 野外環境におけるNeRFとガウシアンスプラッティングSLAMの評価SLAM2024/12/1
屋外の動的で変化に富む環境でNeRFベースとガウシアンスプラッティングベースのSLAM手法を評価し、従来手法との精度・ロバスト性・計算コストのトレードオフを明らかにした。
- 必要最小限の設計：シンプルで効果的なオープンボキャブラリ・シーングラフシーングラフ2024/12/1
3Dオープンボキャブラリ・シーングラフの設計を見直し、画像前処理・特徴融合・特徴選択を検討して、計算量を3分の1に抑えつつ最先端精度を維持する手法を提案した。
- タスク駆動型モバイルマニピュレータの協調設計マニピュレーション2024/12/1
家庭内タスクの性能を直接最適化するため、強化学習とベイズ最適化を組み合わせてモバイルマニピュレータのアーム取り付けパラメータを設計する手法を提案。
- 多様な運転状況における人間の交通・安全ルール遵守の分析自動運転データセット分析2024/11/1
複数の軌道予測データセット（Argoverse 2、nuPlan、Lyft、DeepUrban）を用いて、人間の交通・安全ルール遵守状況を比較評価し、データのノイズや望ましくない運転行動を明らかにした。
- カテゴリ内転移による物体配置の効率的学習マニピュレーション2024/11/1
物体配置をカテゴリの標準フレームで学習し、新しい物体インスタンスへ転移することで、5回程度のデモから食器や家具などの配置を予測する手法を提案した。
- ロボティクスにおけるニューラルフィールド：サーベイニューラルフィールド2024/10/1
ニューラルフィールドのロボティクス応用を200本以上の論文に基づき、4つの主要フレームワークと5つの応用領域（姿勢推定、マニピュレーション、ナビゲーション、物理、自動運転）に分類してレビューしたサーベイ論文。
- 動きの中の不確実性：情報理論に基づく軌道予測アプローチ軌道予測2024/10/1
自動運転の軌道予測において、情報理論を用いて不確実性を偶然的不確実性と認識的不確実性に分解し、既存の予測モデルに適用可能な手法を提案した論文。
- 点群と条件付きフローマッチングによるロボットマニピュレーション方策の学習マニピュレーション2024/9/1
模倣学習において、点群入力と条件付きフローマッチングを組み合わせたPointFlowMatchを提案し、RLBenchで平均成功率67.8%を達成した。
- モデルベースリスク最小化による運動予測運動予測2024/9/1
複数の予測モデルをリスク最小化の枠組みで統合し、周囲エージェントの将来軌道を高精度に予測する手法を提案。nuScenesデータセットで最先端性能を達成。
- パノプティック・デプス予測予測2024/9/1
単眼カメラ画像から未来のフレームのパノプティックセグメンテーションと深度マップを同時に予測するタスクを提案し、TransformerベースのPDcastアーキテクチャを開発した。
- 追加コストゼロで実現する移動マニピュレータの全身遠隔操作遠隔操作2024/9/1
既存のジョイスティックやハンドガイドからエンドエフェクタ動作を推定し、台車移動を強化学習エージェントに任せることで、特別なハードウェアなしに移動マニピュレータの全身遠隔操作を可能にした。
- 知覚が重要：不確実性を考慮したセマンティックセグメンテーションによる身体性AIの強化物体探索2024/8/1
物体探索タスクにおいて、知覚モデルの不確実性を校正し時系列で集約することで、既存の探索手法を追加学習なしに改善する手法を提案した。
- 非構造屋外環境におけるVisual-Inertial SLAM：ループクロージングの利点と計算コストのベンチマークSLAM2024/8/1
非構造な自然屋外環境で複数のVisual-Inertial SLAMシステムを比較し、ループクロージングが精度と計算負荷に与える影響やフレームレートの影響を評価した。
- 航空画像からトランスフォーマーで車線グラフを学習自動運転/地図生成2024/7/1
航空画像からDETRアーキテクチャを用いて後続車線グラフを生成する手法を提案し、大規模データセットで有効性を示した。
- 双曲空間における分類体系認識型の継続的セマンティックセグメンテーションセマンティックセグメンテーション2024/7/1
双曲空間と分類体系木構造を用いて、自動運転向けのクラス増分セマンティックセグメンテーションを実現し、破滅的忘却を抑えつつ新クラスを学習する手法TOPICSを提案。
- 模倣の技法：少数の実演から長期的マニピュレーションタスクを学習するマニピュレーション2024/7/1
RGB-D観察と5回の実演のみから、スキル分割とリーマン幾何GMMを用いて複雑なロボット操作タスクを高サンプル効率で学習する手法を提案。
- 良い基盤は多くのラベルに値する：ラベル効率的なパノプティックセグメンテーションセグメンテーション2024/5/1
視覚基盤モデルを活用し、少数のラベル付きデータで軽量なセグメンテーションヘッドを訓練し、自己訓練と融合モジュールでパノプティックセグメンテーションを高精度に実現する手法を提案。
- LetsMap: 意味的BEVマッピングのための教師なし表現学習BEVマッピング2024/5/1
単眼前方画像から意味的BEVマップを生成するため、ラベルなしでシーン幾何と意味を別々に事前学習し、少量のBEVラベルで微調整する手法を提案。
- Imagine2touch: 効率的な低次元信号を用いたロボットマニピュレーションのための予測的触覚センシング触覚2024/5/1
視覚情報から触覚信号を予測するImagine2touchを提案し、低コスト触覚センサで収集したデータで学習、物体認識タスクで有効性を示した。
- 運動と深層点対応を用いたターゲット不要のカメラ-LiDAR自動キャリブレーションキャリブレーション2024/4/1
視覚・LiDARオドメトリの運動推定と深層学習による2D-3D点対応を組み合わせ、専用ターゲットや人手を要さずにカメラ-LiDAR間の外部キャリブレーションを最適化で求める手法を提案。
- CenterArt: 関節物体の形状再構成と6自由度把持推定の同時実行マニピュレーション2024/4/1
RGB-D画像から関節物体の3D形状を再構成しつつ、6自由度の把持姿勢を同時に推定する手法CenterArtを提案。実シーンでの実験で既存手法を上回る精度と頑健性を示した。
- PseudoTouch: 物体の表面触感を効率的に画像化するロボットマニピュレーション触覚2024/3/1
低次元の触覚信号と高次元の視覚・深度情報を結びつける視覚触覚埋め込みを学習し、物体認識と把持安定性予測の精度を向上させた研究。
- DITTO: 軌道変換による実演模倣模倣学習2024/3/1
RGB-D動画による一回の人間実演から、物体検出と軌道変換を用いてロボットに新しいスキルを教えるワンショット模倣手法を提案。
- BEVCar: カメラとレーダーの融合によるBEVマップと物体セグメンテーションBEVセグメンテーション2024/3/1
カメラと車載レーダーを融合し、生のレーダーデータを点ベースで符号化して画像特徴のBEV空間への持ち上げを初期化することで、悪天候や夜間でも頑健なBEV物体・マップセグメンテーションを実現した。
- ロボットマニピュレーションにおけるサンプル効率の良い方策改善のためのベイズ最適化マニピュレーション2024/3/1
少数のデモンストレーションからガウス混合モデルでスキルを学習し、ベイズ最適化で自律実行を改善するハイブリッド手法を提案し、サンプル効率の高さを実証した。
- 言語に基づく動的シーングラフを用いたモバイルマニピュレーションによる対話的物体探索VLA2024/3/1
オープン語彙のシーングラフを動的に更新しながらLLMで推論し、モバイルマニピュレーションによる長期的な物体探索をゼロショットで実現する手法を提案。
- 言語に基づくロボットナビゲーションのための階層的オープン語彙3Dシーングラフナビゲーション2024/3/1
オープン語彙の視覚基盤モデルを用いて、床・部屋・物体の階層を持つ3Dシーングラフを構築し、多階層建物内での言語指示に基づくロボットナビゲーションを実現した。
- 産業プラント点検・監視のためのスマート移動ロボットシステムの評価点検ロボット2024/2/1
光学・嗅覚・音響センサを搭載した自律移動ロボットを化学プラントの排水処理場で評価し、物体検出・3D位置推定・経路計画・メタン漏れ検知・音響診断の性能を検証した。
- CMRNext: 実環境でのカメラ-LiDARマッチングによる自己位置推定と外部キャリブレーション自己位置推定/キャリブレーション2024/2/1
カメラ画像とLiDAR点群の対応をオプティカルフロー推定として解き、センサー固有パラメータに依存せず未知環境でもゼロショットで単眼自己位置推定と外部キャリブレーションを実現する手法を提案。
- ロボティクスにおける意味的シーンセグメンテーション意味的セグメンテーション2024/1/1
ロボットの自律性に不可欠な意味的セグメンテーションについて、深層学習を用いた手法・アーキテクチャ・損失関数・データセット・評価指標を体系的に解説したサーベイ。
- CenterGrasp: 物体認識に基づく形状復元と6自由度把持推定の同時学習マニピュレーション2023/12/1
物体の形状と把持を連続潜在空間で表現し、RGB-D画像から物体検出・姿勢推定・形状復元・6自由度把持推定を同時に行うフレームワークを提案。
- アモーダルオプティカルフローオプティカルフロー2023/11/1
透明・遮蔽物体に対応するため、可視領域と遮蔽領域の両方の動きを多層的に推定するアモーダルオプティカルフローを提案し、データセット拡張とベースライン、評価指標、TransformerベースのAmodalFlowNetを開発した。
- デモンストレーションの再結合による構成的ビジュアルサーボビジュアルサーボ2023/10/1
少数のデモを分割・再結合したグラフとして扱い、類似度に基づく最短経路探索でビジュアルサーボを多タスク化する手法を提案した。
- 視覚と固有感覚を用いた因子グラフによる関節物体のオンライン推定マニピュレーション2023/9/1
視覚ベースの関節予測と操作中の運動センシングを因子グラフで統合し、未知の関節物体を開けるロボットシステムを実現した。
- 自動運転のための協調動的3Dシーングラフ協調SLAM/シーングラフ2023/9/1
複数車両のLiDARデータを協調SLAMで統合し、車線グラフと多層シーングラフで都市動的環境を階層的に表現する手法を提案。
- 自動運転のためのマルチカメラBEV知覚BEV知覚2023/9/1
複数カメラ画像からBird's Eye View(BEV)表現を得る手法を、従来のIPMから深層学習ベースの最新手法まで概説したサーベイ。
- RaLF: LiDAR地図におけるフローベースのグローバル・メトリックレーダー自己位置推定自己位置推定2023/9/1
レーダースキャンをLiDAR地図上に位置合わせするため、場所認識とメトリック位置推定を同時に学習する深層学習手法を提案し、実走行データで最先端性能と未知環境への汎化を実証した。
- 基盤モデルによる少数ショットパノプティックセグメンテーションセグメンテーション2023/9/1
DINOv2基盤モデルと軽量ヘッドを組み合わせ、わずか10枚の注釈画像で高品質な擬似ラベルを生成し、既存のパノプティックセグメンテーション手法を大幅に少ないラベルで学習可能にするSPINOを提案。
- 産業プラント監視のためのスマートロボットシステム産業点検ロボット2023/8/1
自律移動ロボットに各種センサと知能データ処理を統合し、メタン漏洩検知や流量推定、ガス異常・油膜・音源の認識、3D環境マッピング、動的障害物回避を実現。下水処理施設での実証実験で有効性を示した。
- 階層型インタラクティブ多物体探索の学習：移動マニピュレーションに向けて移動マニピュレーション2023/7/1
扉を開けたり棚を開けて目的物を探すため、探索・移動・操作を階層強化学習で組み合わせるHIMOSを提案し、未知環境へのゼロショット転移や失敗への頑健性を示した。
- 鳥瞰図状態表現を用いた都市運転ポリシーの効率的学習自動運転/強化学習2023/5/1
自動運転の強化学習において、鳥瞰図表現と再帰的学習アーキテクチャを提案し、CARLAシミュレータで従来のフレームスタッキング法より効率的に学習できることを示した。
- 画像の裏切り：ロボットマニピュレーションのためのベイズシーンキーポイントによる深層方策学習マニピュレーション2023/5/1
ベイズ推定でスケール不変なキーポイントを追跡し、対称物体や遮蔽・視野外の物体でも位置の曖昧さを解消して、腕カメラからの多物体マニピュレーション方策学習を高効率化する手法BASKを提案。
- CARTO: カテゴリと関節に依存しない多関節物体の再構成3D再構成2023/3/1
単一のステレオRGB画像から複数の多関節物体の3D形状・姿勢・関節状態を一度に推定する手法を提案。カテゴリ横断的な学習を可能にし、実世界への転移も実現した。
- CoVIO: 視覚慣性オドメトリのためのオンライン継続学習視覚慣性オドメトリ2023/3/1
視覚慣性オドメトリにおいて、経験再生を用いて新しい環境に適応しながら破滅的忘却を防ぐオンライン継続学習手法を提案し、リアルタイム推論を可能にする非同期版も開発した。
- INoD: 農業分野の自己教師あり表現学習のための注入ノイズ識別器自己教師あり学習2023/3/1
2つの異なるデータセットの特徴マップを混ぜて識別させる自己教師あり学習法INoDを提案し、ジャガイモ畑の大規模データセットも導入して農業分野の物体検出・セグメンテーションで最高性能を達成した。
- CoDEPS: 深度推定とパノプティックセグメンテーションのためのオンライン継続学習継続学習2023/3/1
ロボットが未知環境にオンラインで適応できるよう、経験リプレイとドメイン混合による擬似ラベル生成を用いて、単眼深度推定とパノプティックセグメンテーションの継続学習手法を提案した。
- 都市自動運転のためのレーングラフの学習と集約自動運転/HDマップ2023/2/1
航空画像からグラフニューラルネットワークを用いて車両位置ごとの後続レーングラフを予測し、複数の重複グラフを一貫した大規模レーングラフに集約する手法を提案した。
- SkyEye: 単眼前方画像からの自己教師あり鳥瞰図セマンティックマッピング自動運転/セマンティックマッピング2023/2/1
単眼前方カメラ映像と前方視セマンティックラベルのみを用い、時間的一貫性と擬似ラベルによる自己教師あり学習で鳥瞰図セマンティックマップを生成する手法を提案。
- ロボティクスにおける対話型模倣学習のサーベイ模倣学習2022/11/1
ロボット実行中に人間が断続的にフィードバックを与えてオンライン改善する対話型模倣学習について、フィードバックの種類・インターフェース・学習手法・ユーザー体験・応用の観点から研究を整理したサーベイ。
- PADLoC: パノプティックアテンションを用いたLiDARベースの深層ループ閉じ込め検出と位置合わせSLAM2022/9/1
LiDAR SLAMにおいて、パノプティック情報を学習時に活用するTransformerベースのループ閉じ込め検出・位置合わせ手法を提案し、推論時にはアノテーション不要で最先端性能を達成した。
- 能動的パーティクルフィルタネットワーク：連続行動空間と大規模地図における効率的な能動的自己位置推定自己位置推定2022/9/1
微分可能なパーティクルフィルタと強化学習を組み合わせ、地図の局所情報のみを用いて連続行動空間で能動的に自己位置推定を行う手法を提案した論文。
- ロボット学習における公平性とバイアスロボット学習の公平性2022/7/1
ロボット学習におけるバイアスの発生源と差別の種類を分類し、公平性の定義・倫理・法的課題・緩和手法を技術・倫理・法の学際的視点から初めてサーベイした。
- RobotIO: ロボットマニピュレーション実験用Pythonライブラリマニピュレーション2022/7/1
ロボット・グリッパ・カメラの共通インターフェースを提供し、異なるハードウェア間でコードを移植可能にするPythonライブラリを開発した。
- N²M²: 未知で動的な環境における任意の移動マニピュレーション動作のためのナビゲーション学習移動マニピュレーション2022/6/1
移動マニピュレーションをエンドエフェクタの動作生成と強化学習による移動ベースのナビゲーションに分解し、未知の動的環境でも長期的タスクを実行できる手法を提案。
- 見えないものを見る：提案不要なアモーダルパノプティックセグメンテーションセグメンテーション2022/5/1
遮蔽された物体の完全な形状を推定するアモーダルパノプティックセグメンテーションを、提案領域を使わずに解くフレームワークを提案し、新たな最高精度を達成した。
- 連続行動空間におけるマルチオブジェクト探索のための長期的ロボット探索戦略の学習ナビゲーション2022/5/1
強化学習により、短期・長期の推論を単一モデルに統合し、連続行動空間で複数物体を探索する手法を提案。限られたデータで未知の住環境に汎化し、実世界のオフィス環境へのゼロショット転移も実証した。
- ロボットマニピュレーションのためのマルチオブジェクトキーポイントの自己教師あり学習マニピュレーション2022/5/1
密対応の事前タスクで画像キーポイントを自己教師あり学習し、複数物体の遮蔽やスケール変化に対応した効率的な操作ポリシー学習を実現した。
- 継続的SLAM：継続学習による生涯SLAMの先へSLAM2022/3/1
生涯SLAMの概念を、単一環境の変化から複数の大きく異なる環境への連続展開へと拡張した「継続的SLAM」タスクを提案し、二重ネットワーク構成で新環境への適応と過去知識の保持を両立するCL-SLAMを開発した。
- クロスエッジモダリティ注意を備えたグラフニューラルネットワークによる3D多物体追跡3D追跡2022/3/1
カメラ・LiDAR・レーダーを統合したマルチモーダルなグラフニューラルネットワークで、オフライン3D多物体追跡を高精度化した研究。
- アモーダル・パノプティックセグメンテーションセグメンテーション2022/2/1
遮蔽された物体も含めて認識する新タスク「アモーダル・パノプティックセグメンテーション」を提唱し、2つのデータセット拡張と評価指標、ベースライン手法APSNetを提案した論文。
- 悪しき振る舞いを避けることで善き協働を実現するHRI2022/2/1
人とロボットの協働において、危険や不公平を生む否定的行動を避けることを学習させる新手法を提案し、社会的マニピュレーションと公平な意思決定の重要性を示した。
- 第7回AIドライビングオリンピック：パノプティックトラッキング優勝報告自動運転/パノプティックトラッキング2021/12/1
NeurIPS 2021の第7回AIドライビングオリンピックのパノプティックトラッキング部門で1位を獲得したEfficientLPTアーキテクチャを提案する。連続スキャンを活用して局所的・大域的に一貫したトラッキングIDを予測する。
- 音を追いかけろ：移動音源を伴う複雑な未マップ環境での音視覚ナビゲーション音視覚ナビゲーション2021/11/1
移動する音源や未知の音、雑音を含む実世界3D環境でロボットが音視覚情報を統合して目的地へナビゲートする新ベンチマークと強化学習手法を提案し、既存手法を大幅に上回る性能を示した。
- ソフトアクター・クリティックとガウス混合モデルによるロボットスキル適応強化学習/スキル学習2021/11/1
示範学習と深層強化学習を組み合わせ、軌道分布空間でスキルを適応・洗練させるSAC-GMMを提案し、実環境とシミュレーションで有効性を示した論文。
- 間違いを正して：ロボットマニピュレーションのための対話型学習マニピュレーション2021/10/1
人間の教師が修正フィードバックと評価フィードバックの両方を与える対話型学習フレームワークCEILingを提案し、生画像から複雑なマニピュレーションタスクを1時間未満の実世界訓練で解けることを示した。
- Panoptic nuScenes：LiDARパノプティックセグメンテーションとトラッキングのための大規模ベンチマークLiDARセグメンテーション2021/9/1
nuScenesデータセットを拡張し、LiDAR点群に対するセマンティック/パノプティックセグメンテーションとパノプティックトラッキングの点単位正解アノテーションを付与した大規模ベンチマークを構築し、各タスクの強力なベースラインと新しい評価指標を提案した論文。
- LiDARパノプティックセグメンテーションのための教師なしドメイン適応LiDARセグメンテーション2021/9/1
異なるLiDAR設定間のドメインギャップを埋めるため、データベースとモデルベースの適応を組み合わせたAdaptLPSを提案し、実世界データセットで既存手法を最大6.41ポイント上回る性能を示した。
- 単眼前方画像からの鳥瞰図パノプティックセグメンテーションBEVセグメンテーション2021/8/1
単眼の前方視画像から鳥瞰図空間のパノプティックセグメンテーションを直接予測する初の手法を提案し、KITTI-360とnuScenesで最先端を上回る精度を達成した。
- 多視点異常検知異常検知2021/5/1
製造業の異常検知において、複数視点の画像を融合する3手法（早期融合・後期融合・複数デコーダ付き後期融合）を深層SVDDに基づき比較し、新データセットdicesを導入して単一視点手法を上回る性能を示した論文。
- 音だけで複数物体を検出・追跡する自己教師ありマルチモーダル蒸留フレームワークマルチモーダル音響物体検出2021/3/1
RGB・深度・熱画像の複数教師から音声生徒ネットワークへ知識蒸留し、移動カメラでも音のみで複数物体の検出・追跡を可能にした自己教師あり手法を提案。
- LCDNet: LiDAR SLAMのための深層ループ閉じ込み検出と点群位置合わせSLAM2021/3/1
LiDAR点群のループ閉じ込み検出と6自由度相対姿勢推定を同時に行う深層学習モデルLCDNetを提案し、逆方向ループでも高精度に動作することを示した論文。
- EfficientLPS：効率的なLiDARパノプティックセグメンテーションLiDARセグメンテーション2021/2/1
LiDAR点群のパノプティックセグメンテーションのための新しいトップダウンアーキテクチャEfficientLPSを提案し、nuScenesとSemanticKITTIで最先端性能を達成した論文。
- 深層強化学習による移動マニピュレーションの運動学的実現可能性の学習移動マニピュレーション2021/1/1
エンドエフェクタの軌道を追従しつつ移動台車の運動学的に実行可能な動きを深層強化学習で学習するモジュール型手法を提案し、複数の移動ロボットで実機検証した。
- 学習から再学習へ：ソーシャルロボットナビゲーションにおけるバイアス低減フレームワークソーシャルナビゲーション2021/1/1
人間の観察から学ぶ社会的ナビゲーションが不公平な行動を増幅しうる問題に対し、社会文脈を組み込む学習と有害な結果を事前に検出・修正する再学習の二段階でバイアスを低減する枠組みを提案し、複数のケーススタディで技術的・社会的に分析した論文。
- Kineverse: モデル非依存の移動マニピュレーションのための記号的な関節構造モデルフレームワーク移動マニピュレーション2020/12/1
ロボットと物体の関節構造を記号数式で統一的にモデル化し、状態推定や移動マニピュレーションに応用できるフレームワークKineverseを提案した論文。
- 幾何学認識型敵対学習による動的物体除去と時空間RGB-DインペインティングRGB-Dインペインティング2020/8/1
動的物体に隠れた領域の色・テクスチャ・幾何構造を、過去フレームのみを用いて時空間的に一貫して補完するDynaFillを提案し、大規模データセットと共に最先端性能を示した論文。
- Robust Vision Challenge 2020 パノプティックセグメンテーション優勝報告セグメンテーション2020/8/1
軽量なEfficientPSアーキテクチャでパノプティックセグメンテーションのロバスト性ベンチマークに挑戦し、総合1位を獲得した技術報告。
- CMRNet++: LiDARマップとカメラに依存しない単眼視覚自己位置推定自己位置推定2020/4/1
深層学習と幾何学的手法を組み合わせ、カメラパラメータや環境に依存せずLiDARマップ上で単眼カメラの自己位置を推定する手法を提案し、再学習なしで新環境に適応できることを示した。
- EfficientPS：効率的なパノプティックセグメンテーションセグメンテーション2020/4/1
共有バックボーンでマルチスケール特徴を融合し、新しいセマンティックヘッドとMask R-CNN改良版のインスタンスヘッド、融合モジュールで高精度かつ高速なパノプティックセグメンテーションを実現した論文。KITTIパノプティックデータセットも提案。
- マルチオブジェクトパノプティックトラッキングパノプティックトラッキング2020/4/1
セマンティックセグメンテーション・インスタンスセグメンテーション・マルチオブジェクトトラッキングを統合した新タスクMOPTを提案し、評価指標sPTQと統合ネットワークPanopticTrackNetを開発した論文。
- 音響特徴の教師なし学習による自己教師あり視覚地形分類自己教師あり学習2019/12/1
車両と地形の接触音から教師なしで地形を分類し、その結果を画像のピクセル単位セマンティックセグメンテーションの自己教師信号として利用する枠組みを提案した論文。
- 都市災害救助のための視覚ベース自律UAVナビゲーションと着陸UAVナビゲーション2019/6/1
地震などで倒壊した建物環境において、事前地図なしでUAVが自律飛行し、がれき上に安全に着陸するシステムを提案。地形の平坦さや傾斜などを考慮した着陸地点検出手法と大規模合成データセットを構築した。
- 間取り図を用いた単眼カメラロボット自己位置推定自己位置推定2019/3/1
単眼カメラ画像から部屋のレイアウトエッジをCNNで抽出し、パーティクルフィルタで間取り図と照合することでロボットの位置姿勢を推定する手法を提案した。
- 災害現場での視覚に基づく自律着陸UAV自律着陸2018/9/1
倒壊建物の瓦礫上に安全に着陸するため、地形の平坦さや傾斜などを考慮したコストマップとクラスタリングで着陸地点を選び、最小ジャーク軌道で自律着陸するシステムを提案した。
- 自律移動ロボットのためのマルチモーダル相互作用認識型横断予測歩行ナビゲーション2018/8/1
信号のない横断歩道でも安全に渡れるよう、周囲の交通参加者の将来軌道予測と信号認識を統合したCNNで横断可否を判断する手法を提案した論文。
- ロバストな固有感覚地形分類のための深い時空間モデル地形分類2018/4/1
車両と地形の相互作用音を固有感覚として用い、CNNとLSTMを組み合わせた深層モデルで空間的特徴と時間的動態を捉え、高精度かつロバストな地形分類を実現した。
- VLocNet++：セマンティックな視覚自己位置推定とオドメトリのための深層マルチタスク学習自己位置推定2018/4/1
セマンティックセグメンテーションと6自由度の自己位置推定・オドメトリをマルチタスク学習で同時に行い、適応重み付き融合層と自己教師ありワーピングで相互に精度を向上させる手法を提案した論文。
- 視覚的自己位置推定とオドメトリのための深層補助学習視覚的自己位置推定2018/3/1
単眼連続画像から6自由度のグローバル姿勢回帰とオドメトリ推定を同時に行うマルチタスクCNN「VLocNet」を提案し、相対姿勢情報を活用する幾何整合損失でSIFTベース手法に匹敵する精度を実現した。
