Kailun Yang
Hunan University
収録論文 160本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- SelectOccFlow: 3D占有とシーンフローのための選択的時空間集約3D占有予測2026/10/3
自動運転向けに、画像・時間・ボクセルの各領域で信頼できる情報だけを選択的に集約し、3D占有とシーンフローを高精度かつ頑健に予測するフレームワークを提案した。
- OmniAct3D: 全天球3D検出のための基盤幾何と根拠付き推論の活用3D検出2026/10/2
透視画像で学習済みの視覚基盤モデルを全天球(ERP)画像に適応させ、球面レイ幾何アダプタと視覚-行動推論チェーンにより360度の3D物体検出精度を向上させた研究。
- EmbPASS: 異なる身体性を超えた全方位セグメンテーションに向けて全方位セグメンテーション2026/10/2
車・ドローン・ウェアラブル・四足歩行の全方位画像を統一タクソノミで扱う異身体性ベンチマークEmbPASSと、関係認識アダプタと適応的意味転送を備えた全方位セグメンテーションネットEPONetを提案。
- FUSEye: 重複ビューとゼロ初期化アダプタによる学習軽量な魚眼検出魚眼検出/転移学習2026/10/2
凍結したCOCO事前学習済みYOLO検出器に約22.7万パラメータのアダプタを追加し、重複グリッドビューとゼロ初期化残差アダプタ、合意融合で魚眼画像の検出精度を大幅に向上させる学習軽量フレームワーク。
- UniTrackPLA：指示に基づくナビゲーションと動的人物追跡のための統合パノラマ・言語・行動モデルVLA2026/10/1
全方位パノラマ観測を活用し、言語指示ナビゲーションと人物追跡を単一モデルで行う統合VLAを提案。行動予測の一貫性検証により再計画を可能にし、シミュレーションと実環境で性能を向上させた。
- HEIR: 機能的役割を伴う人-実体インタラクションの学習HOI認識2026/9/28
人と物体・人・自己のインタラクションを「誰がどの役割で何をするか」という完全な参加者-役割集合として捉える画像ベンチマークHEIRと、共有実体識別子を用いて役割条件付き証拠を統合し集合予測するCoRISPを提案。
- 孤立エンティティを超えて：教師なしビデオ異常検知のための関係考慮型マルチエンティティモデリングビデオ異常検知2026/9/23
人物と物体の見た目・動き・空間配置を統合的にモデル化し、エンティティ間の関係の異常を検知する教師なしビデオ異常検知フレームワークINTERACTを提案。
- PanoFuse: パノラマ強化型視覚-言語-行動学習と分離型意味-幾何ルーティングVLA2026/9/21
全方向パノラマ知覚をVLAに統合し、意味情報と幾何情報を分離して経路選択するDSGRにより、遮蔽や未知環境下でのマニピュレーション成功率を向上させた。
- PanOVOcc: 長期空間ボクセルメモリを用いたパノラマ身体性オープン語彙占有マッピング占有マッピング2026/9/21
パノラマRGB-D列から、学習不要でオープン語彙の意味的占有マップをオンライン構築するフレームワークを提案し、新ベンチマークで大幅な精度向上を示した。
- LiDAR言語モデルは時空間関係を本当に理解しているのか？VLA2026/9/21
4D LiDAR言語モデルの時空間推論を診断するため、nuScenesを用いた1万問のベンチマークLiDAR-Halluを提案し、集計精度では隠れる失敗を明らかにした。
- 潜在行動モデルにおける代数的整合性だけでは時間構造を保証できないVLA2026/9/20
潜在行動モデルの代数的整合性（加法性・反対称性）が時間構造の獲得を証明しないことを示し、制約なしモデルでも同程度の誤差削減が得られることを明らかにした。
- OmniMimic: 力学補完による動作拡張で多様式な全方向四足歩行を実現歩行2026/9/17
限られた方向の動物動作データを時間反転や力学補完で拡張し、前後左右・旋回を含む多様な歩容を単一の方策で学習する枠組みを提案した。
- INSPECT: アシスタント利用からロボットの視点選択を学習視点選択2026/9/17
スマートグラスによる組立支援の記録から、ロボットが部品の有無や正しい取付を確認するための視点選択方策を学習する手法を提案。
- RoboFind: 視覚障害者のためのマルチエージェント個人向け物体探索物体探索2026/9/17
スマホで対象物を教示し、四足ロボットが探索・照合するマルチエージェントシステムを構築し、実機実験で高い成功率と誤検出の低減を示した。
- CoRef-GS: マルチエージェント協調型参照3DガウシアンスプラッティングVLA2026/9/17
複数ロボットが各自構築した3Dガウシアンマップを統合し、言語クエリで対象物を特定する協調型シーン理解フレームワークを提案。
- Spheriverse: 実世界の球面観測による3Dシーン理解3Dシーン理解2026/9/8
球面画像とLiDARの大規模データセットを構築し、球面幾何を考慮した占有予測フレームワークSphereOccを提案して、セマンティック占有予測や3D物体検出のベンチマークで優れた性能を示した。
- TONAV: 関節物体の四足移動操作のためのタスク指向ナビゲーションと動作速度チャンク学習移動操作2026/8/23
四足ロボットによる関節物体の移動操作を統合するフレームワークを提案。タスク指向ナビゲーションと動作速度チャンク学習を組み合わせ、ナビゲーションと操作のギャップを解消し、安定した連続接触操作を実現した。
- GuideFetch: 支援ロボット犬における並行ナビゲーションと物体回収のためのタスク調整フレームワーク群制御2026/8/18
盲人ユーザーを案内するロボット犬と、コーヒーを回収して届ける別のロボット犬が並行して動作する状況を想定し、LLMを用いて計画を検証・実行する調整フレームワークを提案した。
- HGeo-TopoMap: 階層的幾何事前情報によるトポロジカルマッピングの強化自動運転/トポロジカルマップ2026/7/1
自動運転のためのトポロジカルマップ生成において、逆透視マッピングによる道路構造マップと空間関係を活用し、中心線検出を階層的に強化する手法を提案した。
- ラベル不要なターゲット領域適応によるイベント-画像特徴マッチングの二段階蒸留手法イベントカメラ/特徴マッチング/ドメイン適応2026/7/1
イベントカメラと通常画像間の画素対応を、ラベルやセンサー較正なしで学習する二段階蒸留フレームワークを提案し、実世界の非拘束データで自己進化可能な手法を実証した。
- OmniCoT：グローバルかつ多段階のパノラマ推論のためのベンチマーク空間推論2026/6/29
パノラマ画像におけるマルチモーダル大規模言語モデルの空間推論能力を評価・向上させるため、グローバルな証拠と多段階推論に焦点を当てたベンチマークOmniCoTを提案し、訓練データと評価データを整備した。
- DexPIE: 実世界経験からの安定した器用なポリシー改善器用操作/模倣学習2026/6/8
実世界展開で収集した経験を用いて、器用な操作ポリシーを事後訓練で改善するフレームワークを提案。介入システムとDAgger風データ収集、相対行動空間での非同期推論、連続最適性指標による条件付けで、デモデータのみのポリシーより成功率を37%向上させた。
- PS-MOT: 点シードからインスタンス認識を育成するマルチオブジェクト追跡マルチオブジェクト追跡2026/6/1
バウンディングボックスではなく点のアノテーションだけでマルチオブジェクト追跡を実現する手法を提案。データ・モデル・損失の各レベルで点からインスタンスへの階層的パイプラインを構築し、既存の点教師付き追跡手法を上回る性能を達成した。
- CylindTrack：パノラマ多物体追跡のための深度対応円筒運動モデリング多物体追跡2026/6/1
パノラマ映像における多物体追跡（MOT）の課題を解決するため、円筒座標系と深度情報を活用した追跡フレームワークCylindTrackを提案した。
- 共に見る：マルチモーダル大規模言語モデルによる多ロボット協調的自我中心空間推論群制御2026/5/18
複数の移動ロボットの同期した一人称視点ビデオを統合し、空間・時間・可視性・協調に関する質問に答える多ロボット協調動的空間推論の課題を研究。新ベンチマークCoopSRとデータセットEgoTeamを構築し、提案手法SP-CoRが既存MLLMを上回る性能を示した。
- EgoExoMem: 同期した自己中心・他者中心ビデオにわたるクロスビュー記憶推論ビデオ理解/ベンチマーク2026/5/18
自己中心視点と他者中心視点の同期ビデオを用いたクロスビュー記憶推論のベンチマークを新たに構築し、既存のマルチモーダルLLMでは困難であることを示した。また、学習不要のフレーム選択手法E^2-Selectを提案し、ベースラインを上回る性能を達成した。
- EgoEV-HandPose: ステレオイベントカメラによる自己中心視点の3D手姿勢推定とジェスチャ認識手姿勢推定/イベントカメラ2026/5/1
ステレオイベントカメラを用いて、自己中心視点での両手の3D姿勢推定とジェスチャ認識を同時に行うエンドツーエンドフレームワークを提案し、大規模な実世界データセットも構築した。
- AnyUser: スケッチによるユーザ意図を家庭用ロボットへ変換するHRI/指示理解2026/4/1
カメラ画像への自由描画スケッチと任意の言語指示を統合し、事前マップやモデル不要で家庭用ロボットの実行可能な行動を生成する統一指示システムを提案。大規模データセットでの精度検証、実機2種でのタスク実行、多様なユーザ層でのユーザスタディにより有効性を示した。
- ノイズラベルを伴う睡眠ステージングのためのマルチソースドメイン汎化手法時系列分類/ドメイン汎化2026/4/1
睡眠ステージングにおけるラベルノイズとドメインシフトが共存する問題に取り組み、時間・周波数特徴と早期学習正則化を組み合わせたFF-TRUSTを提案し、5つの公開データセットで最先端性能を達成した。
- ProOOD: プロトタイプ誘導による分布外3D占有予測3D占有予測2026/4/1
自動運転向けの3D占有予測において、長尾クラスバイアスと分布外入力への脆弱性を軽減する、プロトタイプ誘導の軽量プラグアンドプレイ手法を提案した。
- BLaDA: 3DGSフィールド内で言語を機能的巧みな動作に橋渡しするマニピュレーション2026/4/1
言語指示を3Dガウススプラッティング場に基づく機能的把持の制約として解釈し、ゼロショットで器用な操作を実現するフレームワークを提案した。
- E-VLA: 暗所・ぼやけシーンのためのイベント拡張型視覚言語行動モデルVLA/操作2026/4/1
暗所やモーションブラーなどの劣化環境でロバストな操作を実現するため、イベントカメラの情報をVLAモデルに統合するフレームワークを提案した。実機データセットと軽量な統合手法により、従来の画像のみでは失敗する状況で成功率を大幅に向上させた。
- InterEdit: テキスト誘導による3D二人組動作編集動作生成2026/3/1
テキスト指示に従って二人の3D動作を編集する新タスクを提案し、専用データセットと拡散モデルベースの手法を構築した。
- 写真カメラにおける普遍的計算収差補正に向けて：包括的ベンチマーク分析計算収差補正2026/3/1
多様なレンズに汎用な計算収差補正のための大規模ベンチマークUniCACを構築し、24手法を比較評価して性能に影響する3要因を特定した。
- 犬には障害物でなく人間には危険：盲導犬ロボットのための共自我ナビゲーションシステム歩行2026/3/1
盲導犬ロボットのナビゲーションにおいて、ロボットの地面センサーでは検知できないが人間の身長では危険な障害物（例：曲がった枝）を扱うため、ユーザーの視点を統合した二重分岐の回避システムを提案し、実験で有効性を示した。
- M²-Occ: カメラ入力欠損に頑健な自動運転向け3D意味占有予測3D意味占有予測2026/3/1
一部のカメラ視点が欠損しても、特徴空間でのマスク再構成とクラス別意味プロトタイプのメモリバンクにより、3D意味占有予測の幾何構造と意味的一貫性を保つ手法を提案。
- PanoAffordanceNet：360度屋内環境における全体的アフォーダンス接地に向けてアフォーダンス接地2026/3/1
360度パノラマ画像から物体のアフォーダンス（行動可能性）をシーン全体で推定する新タスクを提案し、歪み補正と球面稠密化を組み込んだエンドツーエンドモデルと初のデータセットを構築した。
- 四足ロボットのためのパノラママルチモーダル意味占有予測占有予測2026/3/1
四足ロボット向けに360度パノラマと複数センサを統合した世界初の実世界占有予測データセットPanoMMOccと、歩行時の揺れを補正して高精度に3D空間を認識するフレームワークVoxelHoundを提案した。
- O3N: 都市自律エージェントのための全方位オープンボキャブラリ占有予測3D占有予測2026/3/1
単一の全方位RGB画像から360度の3D占有を予測する初のオープンボキャブラリ手法を提案し、極座標スパイラルMambaと視覚・ボクセル・テキストの整合機構で高精度かつ汎化性能を実現した。
- 球面ガウス不透明度場による幾何認識型全方位3Dシーン再構成3D再構成2026/3/1
全方位カメラ向けにガウシアンスプラッティングを拡張し、球面上で直接レイサンプリングすることで歪みのない高品質な3D再構成を実現した。
- NOVA: 自動運転における3Dマルチオブジェクト追跡のための次段階オープンボキャブラリ自己回帰3D追跡/自動運転2026/3/1
3Dマルチオブジェクト追跡を、大規模言語モデルの自己回帰能力を利用して、軌跡を時空間セマンティックシーケンスとして扱い、次段階のシーケンス補完として定式化する新しい手法を提案。未知の物体カテゴリへの一般化を向上させ、nuScenesなどのデータセットで優れた性能を達成。
- OccTrack360: 全方位魚眼カメラによる4Dパノプティック占有追跡占有予測/追跡2026/3/1
全方位魚眼カメラ向けの長尺4Dパノプティック占有追跡ベンチマークOccTrack360と、球面歪みと位置ずれに対処するベースライン手法FoSOccを提案した。
- 視野を超えて：外挿型ドメイン適応パノラマセグメンテーションセグメンテーション/ドメイン適応2026/3/1
局所視点画像で学習し、360度パノラマ画像でテストする外挿型ドメイン適応セグメンテーション手法を提案。視野の幾何学的ずれと未知クラスの意味的不確実性を扱う。
- 信頼できないボクセルを信頼できるか？ラベルノイズ下での3Dセマンティック占有予測の探求3D知覚/ラベルノイズ2026/3/1
3D占有予測におけるラベルノイズ問題を体系的に調査する初のベンチマークOccNLを構築し、時間的記憶と構造的親和性を活用したノイズ耐性フレームワークDPR-Occを提案した。
- TRACER: 変形物体操作のためのテクスチャ頑健なアフォーダンス連鎖推論マニピュレーション2026/1/1
外観やテクスチャの変化に頑健なアフォーダンス予測のため、階層的意味推論から機能領域の精緻化までを連鎖的に行うTRACERフレームワークを提案し、変形物体操作の精度を向上させた。
- クロス視点知覚による細粒度対応学習で実現するオープンボキャブラリ6D物体姿勢推定6D姿勢推定2026/1/1
オープンボキャブラリ6D姿勢推定において、対象物体を背景から分離し、二視点特徴の融合とパッチ間相関行列による空間制約付きマッチングを行うFiCoPを提案し、REAL275とToyota-Lightで精度を大幅に改善した。
- OmniTrack++: 大視野軌道フィードバック学習による全方向マルチオブジェクト追跡マルチオブジェクト追跡2025/11/1
360度視野のパノラマ動画で複数物体を追跡するため、軌道情報をフィードバックして知覚を段階的に改善するフレームワークを提案し、四足・二足ロボットで収集した新ベンチマークEmboTrackを構築した。
- OneOcc: 単一パノラマカメラによる脚式ロボットの意味的占有予測意味的占有予測2025/11/1
脚式ロボット向けに、単一のパノラマカメラ映像から360度の3D意味的占有を予測するフレームワークOneOccを提案。歩行時の揺れ補償や二重投影融合などの工夫で高精度を実現し、新たなベンチマークも公開。
- 鮮明かつ奥行きのあるRGBD撮像：生物に着想を得た単心設計計算撮像2025/10/1
生物に倣った全球面単心レンズと深層学習を組み合わせ、単一撮影から全焦点画像と高精度な深度マップを同時に復元するRGBD撮像フレームワークを提案。
- RefAtomNet++: 意味検索に基づくマルチトラジェクトリMambaによる参照的原子ビデオ行動認識の高度化VLA2025/10/1
自然言語で指定された人物の細粒度行動を認識するタスク(RAVAR)に対し、部分キーワード・シーン属性・文全体の3階層で意味を揃えたクロスアテンションとマルチトラジェクトリMambaを組み合わせたRefAtomNet++を提案し、大規模データセットRefAVA++で評価した。
- ノイズラベル下のオープンセット領域汎化のための証拠信頼性対応残差フローメタ学習メタ学習2025/10/1
ノイズラベルを含むデータで未知カテゴリを新領域で認識するオープンセット領域汎化のため、証拠的信頼性と残差フローマッチングを組み合わせたメタ学習手法を提案し、最先端性能を達成した。
- Segment-to-Act: 身体性知能に向けたラベルノイズに頑健な行動プロンプト付きビデオセグメンテーションビデオセグメンテーション2025/9/1
行動ベースのビデオ物体セグメンテーションにおけるテキストプロンプトノイズとマスクアノテーションノイズに対処するため、初のベンチマークActiSeg-NLを構築し、6つのラベルノイズ学習戦略を適応・評価するとともに、マスクノイズに対処するParallel Mask Head Mechanismを提案した。
- CoBEVMoE: 動的Mixture-of-Expertsによる異種性を考慮した協調知覚のための特徴融合協調知覚2025/9/1
BEV空間で動的に生成されるエキスパート群を用いて、エージェント間の特徴の類似性と異質性を明示的にモデル化する協調知覚フレームワークを提案し、BEVセグメンテーションと3D物体検出で最高性能を達成した。
- イベントカメラ誘導による動的人体とシーンの3Dガウシアンスプラッティング再構成3D再構成/イベントカメラ2025/9/1
単眼イベントカメラ映像から、動く人体と静的シーンを3Dガウシアンスプラッティングで同時再構成する手法を提案。イベント誘導損失で高速運動時のブレを抑え、人体マスク不要で高精度を実現した。
- DepTR-MOT: 深度情報を活用した軌道精緻化によるマルチオブジェクト追跡マルチオブジェクト追跡2025/9/1
DETRベースの検出器にインスタンス単位の深度情報を組み込み、遮蔽や近接環境でのマルチオブジェクト追跡の精度を向上させた研究。
- QuaDreamer: 四足歩行ロボットのための制御可能なパノラマ動画生成データ生成2025/8/1
四足歩行ロボットの動きを模倣し、垂直振動特性を考慮した制御可能なパノラマ動画を生成する初のデータ生成エンジンを提案。
- UniFucGrasp：人間の手に着想を得た多様なロボットハンド向け機能把持アノテーション戦略とデータセットマニピュレーション2025/8/1
人間の手の動きを多様なロボットハンドに写像し、機能的な把持を自動注釈する手法と、複数ハンドに対応した初の機能把持データセットを構築した研究。
- NRSeg: 走行世界モデルによるノイズ耐性BEVセマンティックセグメンテーション学習BEVセグメンテーション2025/7/1
走行世界モデルが生成する合成データのノイズに耐性のあるBEVセマンティックセグメンテーション学習フレームワークNRSegを提案。生成データの有用性を評価する指標と不確実性を考慮した予測手法を導入した。
- RoHOI: 人物-物体インタラクション検出のためのロバスト性ベンチマーク人物-物体インタラクション検出2025/7/1
人物-物体インタラクション検出モデルのロバスト性を評価する初のベンチマークRoHOIを提案し、20種類の汚染条件下での性能低下を分析。ロバスト性向上のためのSAMPL戦略も提案。
- 360度を幻視する：局所シーン拡散と確率的プロンプティングによるパノラマ街路ビュー生成生成モデル2025/7/1
自動運転向けに、ステッチされたパノラマ画像を制御信号として一貫性のある360度パノラマ街路ビューを生成する初の手法Percep360を提案。局所シーン拡散法と確率的プロンプティング法で一貫性と制御性を実現。
- 制約からの解放：ソースフリー遮蔽認識シームレスセグメンテーションセグメンテーション2025/6/1
ソースデータやラベルなしで全景画像のセグメンテーションを行う新しいタスクSFOASSを提案し、UNLOCKという手法で360度視点と遮蔽認識を実現した。
- 分布外意味占有予測3D知覚2025/6/1
自動運転向け3D意味占有予測において、分布外物体を検出する新タスクを提案し、合成異常を注入するデータ拡張と、ボクセルとBEV表現を統合するOccOoDフレームワークで検出性能を向上させた。
- HopaDIFF: 多人数シーンにおける参照人物行動セグメンテーションのための全体・部分認識フーリエ条件拡散モデル行動セグメンテーション2025/6/1
テキスト記述で指定した人物の行動を多人数動画から切り分ける新タスクを提案し、133本の映画からなるデータセットRHAS133と、全体・部分の長距離推論とフーリエ条件を組み合わせた拡散モデルHopaDIFFを構築した。
- 言語駆動型デュアルスタイル混合による単一ドメイン汎化物体検出物体検出2025/5/1
VLMのスタイル意味情報を活用し、画像・特徴量レベルでスタイル混合を行うことで、単一ドメインから未知ドメインへの物体検出器の汎化性能を向上させる手法を提案。
- パノラマ分布外セグメンテーションセグメンテーション2025/5/1
360度パノラマ画像において、未知の物体（分布外）を検出する新タスクPanOoSを提案し、テキスト誘導プロンプト分布学習により既存手法を上回るPOSを実現した。
- ノイズラベル下での動画ベース運転者行動認識の探求行動認識2025/4/1
運転者行動認識においてラベルノイズに対処する初の手法を提案し、クラスタリングとサンプル選択で高精度化を実現した。
- EgoEvGesture: 一人称視点イベントカメラによるジェスチャー認識ジェスチャー認識2025/3/1
一人称視点のイベントカメラデータから手ジェスチャーを認識するため、頭の動きによるノイズを分離する状態空間モデルと時空間特徴を効率的に融合するモジュールを備えた軽量ネットワークを提案し、大規模データセットを構築した。
- LFX: ライトフィールドの密な意味セグメンテーションと顕著物体検出を統合するフレームワークライトフィールド認識2025/3/1
ライトフィールドの異なる表現形式に依存せず、意味セグメンテーションと顕著物体検出を同時に扱える初の統一学習フレームワークLFXを提案し、複数ベンチマークで最高精度を達成した。
- 全方位マルチオブジェクト追跡マルチオブジェクト追跡2025/3/1
パノラマ画像の歪みに対応したOmniTrackを提案し、四足ロボットによる新データセットQuadTrackを構築して全方位追跡の性能を向上させた。
- HierDAMap: 階層的視点事前分布による汎用的なドメイン適応BEVマッピングBEVマッピング/ドメイン適応2025/3/1
自動運転向けBEVマッピングの教師なしドメイン適応において、グローバル・スパース・インスタンスの3階層の視点事前知識を活用する汎用フレームワークHierDAMapを提案した論文。
- 運動学的手法とLSTMモデルによる踵接地・つま先離地イベントの検出歩行2025/3/1
588名の健常者の4363歩行周期を対象に、7つの運動学的手法とLSTMモデルで踵接地・つま先離地を検出し、Zeni法とLSTMが同等の精度を示したことを明らかにした。
- 言語ガイダンスでSAM2を活用するRGB-熱画像セマンティックセグメンテーションセグメンテーション2025/3/1
大規模学習済みのSAM2を言語ガイダンスで適応させ、RGBと熱画像の融合セグメンテーションを高精度化するSHIFNetを提案。
- 一人称視点の整理シーンにおける変形物体のワンショットアフォーダンスグラウンディングアフォーダンス2025/3/1
色や形が異なる未知の変形物体を少数サンプルから認識し、一人称視点の整理作業でアフォーダンスを推定する手法を提案。15種の変形物体データセットも構築した。
- 深度と意味プロンプトを活用したリソース効率の良いアフォーダンス推定アフォーダンス推定2025/3/1
RGB画像に深度画像をプロンプトとして組み込み、テキスト特徴で注意を誘導する軽量なアフォーダンス推定フレームワークを提案し、公開データセットで精度向上とパラメータ削減を実現した。
- TS-CGNet: 時空間融合と中心線誘導拡散によるBEVマッピングBEV知覚2025/3/1
時空間融合と中心線誘導拡散モデルを組み合わせ、悪天候や低照度でも高精度なBEVセマンティックマップを生成するフレームワークを提案。
- DeProPose: 欠損に強い適応的マルチビュー融合による3D人体姿勢推定3D姿勢推定2025/2/1
遮蔽やノイズ、視点欠落に頑健な3D人体姿勢推定のため、相対投影誤差に基づくマルチビュー特徴融合を導入したDeProPoseと、欠損シナリオを含むDA-3DPEデータセットを提案した。
- イベントカメラ支援による意味的シーン補完3Dシーン理解2025/2/1
イベントカメラとRGBを融合し、動きぼやけや悪天候下でも頑健な3Dシーン補完を実現するフレームワークEvSSCと、その評価用ベンチマークDSEC-SSCを提案した論文。
- CT-UIO: 少数アンカーで動作する非一様Bスプラインを用いた連続時間UWB-慣性-オドメータ定位自己位置推定2025/2/1
非一様Bスプラインによる連続時間軌道表現と適応的EKF、仮想アンカー生成を組み合わせ、少ないUWBアンカーでも高精度に自己位置推定するシステムを提案した。
- 機能的巧みな把持のためのマルチキーポイントアフォーダンス表現マニピュレーション2025/2/1
人間の把持画像を弱教師として視覚大規模モデルでアフォーダンス特徴を抽出し、接触点をキーポイントで直接符号化することで、視覚知覚と巧みな把持動作を結びつける手法を提案した。
- オプティカルフロー推定の腐敗に対するロバスト性ベンチマークオプティカルフロー/ロバスト性2024/11/1
オプティカルフロー推定モデルの一般的な腐敗に対するロバスト性を評価するため、7つの時間的腐敗と17の単一画像腐敗からなるベンチマークを構築し、29モデルを評価した。
- EI-Nexus：イベント画像データのための直接かつ柔軟なモダリティ間局所特徴抽出とマッチングイベントカメラ2024/10/1
イベントカメラと通常画像の間で、モダリティ変換を介さずに局所特徴を抽出・マッチングするフレームワークEI-Nexusを提案し、新たなベンチマークで最先端性能を達成した。
- E-3DGS: 露光イベントと動きイベントを活用したガウシアンスプラッティング3D再構成/イベントカメラ2024/10/1
露光調整デバイスを組み込み、イベントカメラで露光イベントと動きイベントを取得し、3Dガウシアンスプラッティングによる高品質・高速・バランス型の3D再構成を実現した研究。
- 深度対応PSFによる単レンズ制御可能な被写界深度イメージング計算撮像2024/9/1
単一レンズの光学収差と制御不能な被写界深度を計算手法で補正し、深度推定とPSFモデルを用いて任意の高級レンズ相当の被写界深度画像を生成するフレームワークを提案した。
- P2U-SLAM: 点と姿勢の不確かさに基づく単眼広視野SLAMシステムSLAM2024/9/1
広視野カメラを用いた単眼SLAMにおいて、最適化過程で変化する地図点とキーフレーム姿勢の不確かさを明示的にモデル化し、追跡と局所マッピングに組み込むことで長期性能劣化を抑える手法を提案した。
- GenMapping: 逆透視変換を活用したロバストなオンラインHDマップ構築自動運転/HDマップ2024/9/1
逆透視変換でカメラパラメータを学習から切り離し、3分岐の協調アーキテクチャとクロスビュー学習により、未知のカメラ設定でも汎化するオンラインHDマップ生成フレームワークを提案。
- SF-TIM: 地形想像と計測を組み合わせた四足ロボットの跳躍敏捷性を高める簡易フレームワーク歩行2024/8/1
地形の想像と計測を統合した単一ポリシーで、四足ロボットの盲歩行能力を保ちつつ高所やギャップを跳び越える敏捷性を向上させ、実機でゼロショット転移を実現した。
- 人間と物体のインタラクションから粒度認識アフォーダンスを学習し、道具を用いた機能的巧みな把持を実現マニピュレーション2024/7/1
人間の道具使用時の手と物体の接触領域から細粒度・粗粒度のアフォーダンス特徴を抽出し、巧みな手による機能的把持を可能にするフレームワークGAAF-Dexを提案。弱教師あり学習で一人称視点画像の特徴抽出を三人称視点画像から監督する。
- 遮蔽を考慮したシームレスセグメンテーションセグメンテーション2024/7/1
パノラマ画像の狭い視野・遮蔽・ドメインギャップを同時に解決する新タスクOASSを提案し、データセットBlendPASSと手法UnmaskFormerを構築した。
- 指示付き原子行動認識行動認識2024/7/1
テキスト記述に基づいて特定人物の原子行動を動画から認識する新タスクRAVARを提案し、データセットRefAVAと専用手法RefAtomNetを構築した。
- スクリブル注釈によるラベル効率的な意味的シーン補完意味的シーン補完2024/5/1
スパースなスクリブル注釈と密な幾何ラベルを組み合わせた新しいベンチマークScribbleSCを構築し、Scribble2Sceneという手法で完全教師ありに匹敵する性能を少ないラベルで実現した。
- ガラス・プラスチックハイブリッド型ミニマリスト非球面パノラマ環状レンズの設計・解析・製造光学設計2024/5/1
小型・軽量・簡素な4枚構成のガラス・プラスチックハイブリッド非球面パノラマ環状レンズを設計し、公差解析手法を提案して試作20個を製造、8.5gの軽量プロトタイプを実現した。
- DTCLMapper: ベクトル化HDマップ構築のための二重時間一貫性学習自動運転/HDマップ2024/5/1
BEV知覚における時間融合の冗長性を抑えるため、インスタンス埋め込みと幾何マップを組み合わせた二重時間一貫性学習でベクトル化HDマップを構築する手法を提案。
- LiDARとカメラの連携による一貫性のある物体検出センサーフュージョン2024/5/1
点群と画像の両方で物体位置を同時に検出し、それらの対応関係を単一の順伝播で推定するエンドツーエンド手法を提案し、新指標Consistency Precisionで評価した。
- 複合レンズ計算イメージングの準大域的設計探索計算イメージング2024/4/1
光学系と画像再構成アルゴリズムを自動で同時設計する手法を提案し、複合レンズ系の初期設計探索と並列最適化により従来より高画質な計算イメージング系を実現した。
- MambaMOS: 動きを考慮した状態空間モデルによるLiDARベース3次元移動物体セグメンテーション移動物体セグメンテーション2024/4/1
LiDAR点群の時系列情報から移動物体を切り出すタスクに対し、時間情報と空間情報の結合を強化する埋め込みと、物体の動きの時間的相関を捉える状態空間モデルを組み合わせた手法を提案し、ベンチマークで最高精度を達成した。
- CFMW: 悪天候下でのロバスト物体検出のためのクロスモダリティ融合Mambaマルチモーダル物体検出2024/4/1
悪天候下での可視光・赤外線画像を用いた物体検出において、拡散モデルによる天候除去とMambaベースのモダリティ融合を組み合わせ、Transformer融合より3倍高速で最先端性能を達成した。また、雨・霧・雪を含む大規模な可視光・赤外線データセットSWVIを構築した。
- ベクトル量子化によるドメイン混合光学劣化表現を用いた実世界計算収差補正計算収差補正/ドメイン適応2024/3/1
実世界の収差補正における合成データと実データのギャップを、教師なしドメイン適応として捉え、VQGANで光学劣化を量子化・表現するQDMRフレームワークを提案した論文。
- ノイズラベルに頑健な骨格ベース人間行動認識フレームワークNoiseEraSAR行動認識2024/3/1
骨格データによる行動認識で問題となるラベルノイズに対処するため、サンプル選択・共教示・クロスモーダルMoEを統合したNoiseEraSARを提案し、ベンチマークで最高性能を達成した。
- 自動運転向けハイブリッド伝播によるオフボード占有予測の精緻化自動運転/3Dシーン理解2024/3/1
車載の視覚ベース3D意味シーン補完（SSC）予測を、オフボードで局所・大域の二段階伝播により高精度化するフレームワークOccFinerを提案し、SemanticKITTIで最先端性能を達成した。
- EchoTrack: 自動運転のための音声指示によるマルチオブジェクト追跡マルチオブジェクト追跡2024/2/1
音声指示に基づいて動画内の特定物体を追跡するAR-MOTタスクを提案し、音声と映像を双方向に融合するEchoTrackフレームワークと大規模ベンチマークを構築した。
- モダリティ欠損シーンセグメンテーションのためのフーリエプロンプトチューニングマルチモーダルセグメンテーション2024/1/1
自動運転のマルチモーダルセグメンテーションにおいて、モダリティの欠損やセンサーエラーに対処するタスクを設定し、欠損を考慮したモダリティスイッチ戦略とフーリエプロンプトチューニングを提案した。
- LF Tracy: ライトフィールドカメラにおける顕著物体検出のための統合シングルパイプライン手法顕著物体検出2024/1/1
ライトフィールド画像の顕著物体検出において、シングルパイプラインのエンコーダと効率的な情報集約モジュール、およびMixLDというデータ拡張戦略を提案し、大規模PKUデータセットで従来手法を23%上回る性能を達成した。
- 多視点時空間関係Transformerによる高精度3次元人体姿勢推定姿勢推定2024/1/1
多視点映像からTransformerの自己注意機構で時空間相関を捉え、3次元人体姿勢を高精度に推定する手法を提案し、Human3.6Mで最高性能を達成した。
- 骨格ベース行動認識におけるオープンセットシナリオへの対応行動認識2023/12/1
骨格データのみを用いたオープンセット行動認識タスクを定式化し、未知行動を棄却するためのクロスモーダルな距離ベースアンサンブル手法CrossMaxを提案した。
- 3Dイベント表現によるイベントベース人体姿勢推定の探求姿勢推定2023/11/1
イベントカメラの非同期性を活かすため、2つの3Dイベント表現（RasEPCとDEV）を提案し、屋外シーン向けの合成データセットEV-3DPWを構築して、イベントベース人体姿勢推定の精度を向上させた。
- CoBEV: 奥行きと高さの相補性を活用した路側3D物体検出の高度化3D物体検出2023/10/1
路側カメラの単眼3D物体検出において、奥行き特徴の幾何情報と高さ特徴の意味情報を相補的に融合するCoBEVを提案し、BEV表現を構築して検出精度とロバスト性を向上させた。
- S³-MonoDETR：単眼3D物体検出のための形状・スケール知覚型変形可能トランスフォーマー3D物体検出2023/9/1
単眼3D物体検出において、形状とスケールを考慮した教師あり変形可能注意機構を提案し、クエリ点の受容野を適切に推定することで検出精度を向上させた。
- 効率的なマルチモーダル自己教師あり学習による骨格ベース行動認識の向上行動認識2023/9/1
骨格データを用いた行動認識において、モダリティ間の性能差を考慮した知識交換モジュールと新たなモダリティを導入し、関係性蒸留で効率化を図る手法を提案。
- 遮蔽環境における自己教師あり骨格ベース行動認識の探求行動認識2023/9/1
遮蔽された骨格系列に対応するため、クラスタ非依存KNN補完と遮蔽部分時空間学習を組み合わせた自己教師あり学習フレームワークIosPSTLを提案し、NTU-60/120の遮蔽版で最高性能を達成した。
- FocusFlow: 自動運転のためのキーポイントオプティカルフロー推定の強化オプティカルフロー2023/8/1
キーポイントに特化した損失関数と条件制御エンコーダを導入し、ORBやSIFTなどのキーポイントでのオプティカルフロー精度を最大44.5%向上させるフレームワークを提案。
- 視覚障害者支援のためのオープンシーン理解：接地状況認識とSegment Anythingの融合シーン理解2023/7/1
視覚障害者支援に向け、接地状況認識（GSR）とSegment Anything Model（SAM）を組み合わせ、物体のピクセル単位の密なセグメンテーションマスクを生成するOpenSUシステムを提案。純粋なTransformer骨格とGELU活性化で性能と収束を改善し、SWiGデータセットで最先端を達成。
- 幾何特徴に基づく移動ロボット向けの密結合LiDAR-視覚SLAMSLAM2023/7/1
LiDARと単眼視覚SLAMを密結合し、幾何特徴の深度とセマンティクスを融合してバンドル調整に方向最適化を加えることで、移動ロボットの自己位置推定を高精度化・堅牢化した研究。
- イベントカメラによる任意時刻のオプティカルフロー推定に向けてイベントカメラ/オプティカルフロー2023/7/1
低フレームレートの正解データしかないイベントカメラでも、高フレームレートのオプティカルフローを推定できるEVA-Flowを提案し、低遅延・高密度な動き推定を実現した。
- OAFuser: ライトフィールド意味セグメンテーションのための全開口融合ライトフィールドセグメンテーション2023/7/1
ライトフィールドカメラの冗長な角度情報を効率的に処理し、中心視点とサブアパーチャ画像を融合して高精度な意味セグメンテーションを実現するOAFuserを提案。
- LF-PGVIO: 点と測地線分を用いた広視野カメラ向け視覚慣性オドメトリフレームワークVIO2023/6/1
広視野・負平面視野のカメラでも使えるよう、全方向曲線検出と測地線分の点・線特徴を統合した視覚慣性オドメトリを提案し、公開データセットで高精度・高ロバスト性を示した。
- PVPUFormer: 対話型画像セグメンテーションのための確率的視覚プロンプト統合トランスフォーマー対話型セグメンテーション2023/6/1
クリックやスクリブル、ボックスなどの多様な視覚プロンプトを確率的に統合し、プロンプト周辺の文脈情報も活用する対話型画像セグメンテーション手法を提案。
- 重要度認識とプロトタイプ対比学習によるソースフリー領域適応セマンティックセグメンテーションセマンティックセグメンテーション/領域適応2023/6/1
学習済みソースモデルとラベルなしターゲットデータのみを用い、重要度認識機構とプロトタイプ対比学習でドメインシフトに対処するソースフリー領域適応セマンティックセグメンテーション手法を提案した論文。
- Bi-Mapper: 自動運転のための統合的BEVセマンティックマッピングBEV認識2023/5/1
俯瞰視点と局所的な事前知識を組み合わせ、非同期相互学習とAcross-Space Lossで遠方の幾何学的歪みを抑えつつ、前視点画像からBEVセマンティックマップを生成する手法を提案。
- SSD-MonoDETR: 単眼3D物体検出のためのスケール認識型変形可能トランスフォーマ3D物体検出2023/5/1
単眼画像からの3D物体検出において、スケールを考慮した教師あり変形可能アテンションを導入し、難易度の高い物体の検出精度を向上させた研究。
- 多様なドメインにおける行動認識のための少数ショット適応の探求ドメイン適応2023/5/1
行動認識における少数ショットドメイン適応の新しいベンチマークを5つのデータセットで構築し、少数のラベル付き目標ドメイン動画を知識ガイダンスとして活用するRelaMiX手法を提案した。
- PanoVPR: パノラマビューをスライディングウィンドウで統一する透視画像から正距円筒画像への視覚的位置認識視覚的位置認識2023/3/1
消費者向けカメラで撮影した透視画像からパノラマデータベース画像を検索するため、スライディングウィンドウで特徴量を計算するP2E視覚的位置認識フレームワークを提案し、新データセットで最高性能を達成した。
- FishDreamer: 魚眼画像の意味補完を統合的な画像外挿とセグメンテーションで実現魚眼セグメンテーション2023/3/1
魚眼カメラの死角領域を含む画像全体のテクスチャと意味情報を、ViTと極座標対応クロスアテンションを用いて同時に推定する新手法を提案し、専用データセットも構築した。
- 実環境における活性化筋群推定に向けて筋活動推定2023/3/1
動画から身体活動中の活性化筋群を推定する新タスクAMGEを提案し、HIIT動画15K件超を含むMuscleMapデータセットと、動画と骨格のマルチモーダル融合モデルTransM3Eを構築した。
- MateRobot：視覚障害者向けウェアラブルロボティクスにおける素材認識ウェアラブルロボティクス2023/2/1
視覚障害者が触れる前に物体や素材を認識できるよう、軽量なセグメンテーションモデルMateViTを搭載したウェアラブル視覚ロボットシステムを開発し、実地テストで低い認知負荷を確認した。
- LF-VISLAM: 負の結像面を持つ広視野カメラ向けモバイルエージェント用SLAMフレームワークSLAM2022/9/1
360度×40〜120度の超広視野パノラマカメラとIMUを用いた視覚慣性SLAMを提案し、負の半平面でも有効な単位長3次元ベクトルによる特徴点表現と、姿勢情報を活用したループ閉じ込み・外れ値除去を導入した。
- Trans4Map: 視点中心画像から全周知覚セマンティクスへの俯瞰マッピングをVision Transformerで再考するマッピング2022/7/1
一人称視点の画像列から俯瞰視点のセマンティックマップを生成する、単一ステージのTransformerベースのエンドツーエンド手法を提案し、従来手法より少ないパラメータで高精度を達成した。
- あらゆるドメインの背後にはシフトがある：歪み対応Vision Transformerの全天球セマンティックセグメンテーションへの適応セマンティックセグメンテーション2022/7/1
全天球画像の歪み・物体変形に対応するDeformable Patch EmbeddingとDeformable MLPを備えたTrans4PASS+を提案し、擬似ラベル補正による相互プロトタイプ適応と新データセットSynPASSを導入して、ドメイン適応型全天球セマンティックセグメンテーションで最高性能を達成した。
- サブアテンション融合に基づくマルチモーダルうつ病推定マルチモーダル2022/7/1
音声・視覚・テキストのマルチモーダルデータからうつ病を自動推定するため、サブアテンション機構と畳み込み双方向LSTMを組み合わせた手法を提案し、DAIC-WOZベンチマークで有効性を示した。
- 3Dイベント点群による効率的な人間姿勢推定姿勢推定2022/6/1
イベントカメラの3D点群から直接2D人間姿勢を推定する手法を提案し、ラスタライズ表現でメモリと計算を削減してリアルタイム性能を実現した。
- パノラマパノプティックセグメンテーション：モバイルエージェントのための周囲解析への教師なし対照学習による洞察セグメンテーション2022/6/1
ピンホール画像で学習したモデルを教師なし対照学習でパノラマ画像に適応させ、周囲全体を理解するパノラマパノプティックセグメンテーションを実現した。
- パノラマイメージングとシーン理解への応用に関するレビュー全方位視覚2022/5/1
パノラマ撮像システムの基本原理や各種構成を概観し、自由曲面・薄板光学・メタサーフェスといった新技術が全方位環境認識の性能向上にどう寄与するかを論じたレビュー論文。
- RGB-Dセンサと動的SLAM・パノプティックセグメンテーションによる視覚障害者向け屋内ナビゲーション支援視覚障害者支援/ナビゲーション2022/4/1
RGB-Dセンサでパノプティックセグメンテーションと自己位置推定を行い、動的障害物を検出・追跡して音響フィードバックで視覚障害者に伝える屋内支援システムを提案した。
- MatchFormer: 特徴マッチングのためのTransformer内でのアテンション交互配置特徴マッチング2022/3/1
階層型エンコーダの各段で自己アテンションによる特徴抽出とクロスアテンションによるマッチングを交互に行うことで、低テクスチャ環境でも高精度かつ高速な特徴マッチングを実現した研究。
- TransDARC：潜在空間の特徴量キャリブレーションを備えたトランスフォーマーによる運転者行動認識行動認識2022/3/1
車内の運転者行動を認識するため、視覚トランスフォーマーと潜在特徴空間での特徴分布キャリブレーションを組み合わせたフレームワークを提案し、センサ変化に対する汎化性能と認識精度を向上させた。
- 歪みを考慮したTransformerによる全天球セマンティックセグメンテーションへの適応セマンティックセグメンテーション2022/3/1
ピンホール画像の注釈を全天球画像のセグメンテーションに活用するため、歪みと物体変形を学習するDeformable Patch EmbeddingとDeformable MLPを備えたTransformerと、教師なしドメイン適応のための相互プロトタイプ適応を提案した論文。
- CMX: TransformerによるRGB-Xセマンティックセグメンテーションのためのクロスモーダル融合マルチモーダル融合2022/3/1
深度・熱・偏光・イベント・LiDARなど多様な補助モダリティを統一的に扱うTransformerベースの融合フレームワークCMXを提案し、複数のRGB-Xベンチマークで最先端性能を達成した。
- マルチソース混合サンプリングとメタ学習による事故シーンの堅牢なセマンティックセグメンテーションセマンティックセグメンテーション2022/3/1
正常シーンの複数ソースドメインを異常シーンの見た目で拡張するマルチドメイン混合サンプリングとメタ学習を組み合わせ、事故シーンへのセグメンテーション汎化性能を高めるMMUDAフレームワークを提案した論文。
- LF-VIO：負平面を含む超広視野カメラ向け視覚慣性オドメトリフレームワークVIO2022/2/1
視野が負の半平面に達する超広角カメラでも使えるリアルタイム視覚慣性オドメトリを、特徴点を単位3次元ベクトルで表現する手法で実現し、全天球型データセットPALVIOも公開した論文。
- 全周パノラマ画像のオプティカルフローを学習するPanoFlowオプティカルフロー2022/2/1
全天球パノラマ画像向けのオプティカルフロー推定フレームワークPanoFlowを提案し、歪み補正と巡回フロー推定により既存手法を上回る精度を実現した。
- TransKD：効率的なセマンティックセグメンテーションのためのTransformer知識蒸留セマンティックセグメンテーション2022/2/1
大規模Transformer教師の特徴マップとパッチ埋め込みを蒸留し、FLOPsを85%以上削減したコンパクトな生徒Transformerを学習する枠組みを提案。
- CSFlow: 自動運転向けクロスストリップ相関によるオプティカルフロー学習オプティカルフロー2022/2/1
自動運転シーン向けに、画像をストリップ状に分割して大域的な文脈を相関ボリュームに符号化するCSCモジュールと、フロー初期化に大域文脈を活用するCRIモジュールからなるオプティカルフロー推定ネットワークを提案し、KITTI-2015で最高精度を達成した。
- 多様な遮蔽に頑健なワンショット骨格行動認識への取り組み骨格行動認識2022/2/1
骨格系列のワンショット行動認識において、ランダム遮蔽と日常物体による現実的な遮蔽のベンチマークを構築し、3ストリームと混合注意融合を用いたTransformerモデルTrans4SOARを提案した論文。
- 視野を超えた転移：教師なしドメイン適応による高密度パノラマ意味セグメンテーションドメイン適応2021/10/1
ピンホール画像で学習したモデルをラベルなし360度パノラマ画像に適応させる教師なしドメイン適応タスクを定式化し、新データセットDensePASSと注意機構付き適応フレームワークP2PDAを提案した論文。
- 空飛ぶ盲導犬：ドローンとTransformerによる歩行可能経路の発見視覚障害者支援/ドローン2021/8/1
ドローンと街路画像のセマンティックセグメンテーションを用いて視覚障害者の歩行可能な経路を案内する「空飛ぶ盲導犬」プロトタイプを提案し、信号認識用データセットも構築した。
- 屋内シーンにおける教師あり・教師なし学習によるパノラマ深度推定深度推定2021/8/1
屋内360度パノラマ画像の単眼深度推定のため、PADENetを拡張し、ステレオマッチングと深層学習を融合して精度を向上させた研究。
- Trans4Trans：透明物体と意味的シーン分割のための効率的Transformerによる視覚障がい者ナビ支援セグメンテーション2021/8/1
ガラス扉などの透明障害物を分割できるデュアルヘッドTransformerモデルTrans4Transを提案し、深度情報と組み合わせたウェアラブル支援システムで安全なナビゲーションを実現した。
- DensePASS: 注意機構強化型コンテキスト交換による教師なしドメイン適応を用いた高密度パノラマ意味セグメンテーションドメイン適応/パノラマセグメンテーション2021/8/1
ピンホールカメラ画像で学習したモデルをラベルなしの360度パノラマ画像に適応させる教師なしドメイン適応タスクを定式化し、新データセットDensePASSと注意機構ベースのフレームワークを提案した論文。
- MASS: LiDARデータの密な上面俯瞰理解のためのマルチアテンション意味セグメンテーションLiDARセグメンテーション2021/7/1
LiDARの柱・占有特徴を入力に、グラフ注意・LSTM注意・柱注意の3ブロックで360度の密な上面セグメンテーションマスクを生成するモデルを提案し、SemanticKITTIとnuScenes-LidarSegで高精度を達成した。
- HIDA：ウェアラブル固体LiDARと3Dインスタンスセグメンテーションによる視覚障害者向け屋内理解支援システム3Dセグメンテーション/視覚障害支援2021/7/1
固体LiDARで取得した3D点群を軽量なインスタンスセグメンテーションモデルで解析し、障害物回避と物体探索を音声案内する視覚障害者向け支援システムを提案・実証した。
- Trans4Trans：透明物体セグメンテーションで視覚障害者の歩行を支援する効率的Transformerセグメンテーション2021/7/1
ガラス扉などの透明物体を高精度にセグメンテーションする二頭型Transformerモデルを開発し、携帯GPUで動作するウェアラブル歩行支援システムとして実証した。
- Aerial-PASS：ドローン動画におけるパノラマ環状シーンセグメンテーションセグメンテーション2021/5/1
小型軽量で360度環状視野を持つパノラマ環状レンズを搭載したUAVシステムと、リアルタイム高精度なセマンティックセグメンテーション用軽量ニューラルネットを提案し、初のドローン視点パノラマシーンセグメンテーションデータセットAerial-PASSを構築した論文。
- 視覚障害者向けナビゲーション知覚のためのPanoptic Lintentionネットワーク視覚障害者支援/パノプティックセグメンテーション2021/3/1
線形時間・線形空間で長距離相互作用をモデル化するLintention注意機構を提案し、それを用いたパノプティックセグメンテーションモデルで視覚障害者の歩行支援を効率化した。
- 視覚障害者向けウェアラブルシステムにおけるリアルタイム意味セグメンテーションとシーン認識による知覚フレームワーク視覚障害者支援/意味セグメンテーション2021/3/1
視覚障害者支援のため、ResNetを基盤に意味セグメンテーションとシーン認識を同時に行う軽量な知覚システムを開発し、ウェアラブルベルト上で実時間動作を実現した。
- 全天球セグメンテーションのための全方位コンテキストの獲得全方位セグメンテーション2021/3/1
360度画像の長距離依存を直接捉えるEfficient Concurrent Attention Networksを提案し、マルチソース・全方位教師あり学習とWildPASSデータセットで全天球セマンティックセグメンテーションの性能を大幅に向上させた論文。
- 動的受容野時間注意ネットワークによる街路シーン変化検出変化検出2021/3/1
時間注意の依存範囲サイズの影響を調べ、軽量な動的受容野時間注意モジュールと水平垂直同時注意を導入して街路シーンの変化検出精度を向上させた論文。
- パノラマパノプティックセグメンテーション：教師なし対照学習による完全な周囲理解に向けてセグメンテーション2021/3/1
通常のピンホール画像で学習した特徴をパノラマ画像に転移するPanoramic Robust Featureフレームワークを提案し、周囲全体を理解するパノラマパノプティックセグメンテーションの精度を向上させた。
- ループ閉じ込みと大域最適化を備えたパノラマ環状SLAMSLAM2021/2/1
パノラマ環状レンズを用いた視覚SLAMシステムを提案し、ハイブリッドな特徴点選択とループ閉じ込み・大域最適化により精度とロバスト性を向上させた。
- 偏光を活用した効率的な注意融合ネットワークによるセマンティックセグメンテーションマルチモーダル融合2020/11/1
偏光センサをRGBに組み合わせた初のRGB-Pデータセットを構築し、注意機構で両情報を融合するEAFNetを提案して屋外セグメンテーション精度を向上させた論文。
- 予期せぬ障害物検出を組み込んだRGB-Dセマンティックセグメンテーションのリアルタイム融合ネットワークセマンティックセグメンテーション2020/2/1
RGB-D情報を効率的に融合するリアルタイムセマンティックセグメンテーションネットワークRFNetを提案し、マルチデータセット学習で小さな障害物検出も可能にした。Cityscapesで高精度かつ22Hzの推論速度を実現。
- DS-PASS：周囲センシングのためのSwaftNetによる詳細感度の高い全周環状セマンティックセグメンテーションセマンティックセグメンテーション2019/9/1
ピンホールカメラ用の既存セグメンテーションネットワークを全周画像に適応させるフレームワークを提案し、注意機構付き横方向接続で詳細感度を高めたSwaftNetがリアルタイムで高精度を達成することを示した。
