Jiaming Zhang
収録論文 61本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- キャッシュ対応Conv3D変換による組込みワールドモデルデコーダの高速化効率化2026/9/25
生成的世界モデルのエッジ実行を高速化するため、因果的Conv3Dをバッチ化空間Conv2Dに変換するキャッシュ対応のランタイム最適化を提案し、Jetson上でVAEデコードを約7倍高速化した。
- 日常動画から関節物体を再構成し操作を再現する実-to-シミュレーション手法sim2real2026/9/16
単眼RGB動画から、ドアや引き出しなどの関節物体のリンク分割・関節推定・3D再構成を行い、手の動きと合わせてシミュレーション上で操作を再現するフレームワークを提案。
- S3-Tracker: コントラスティブランダムウォークによる自己教師あり手術組織追跡医療画像/追跡2026/9/13
ラベルなしの内視鏡動画からコントラスティブランダムウォークで画素対応を学習し、軟組織の変形に対応した任意点追跡を自己教師ありで実現した研究。
- X$^2$Localizer: プログレッシブなクロスビュー動画地理的定位のためのクロス粒度アライメント地理的定位2026/8/17
本論文は、地上視点の動画を対応する航空画像に位置づけるクロスビュー動画地理的定位（CVG）を、部分的な観測や動的な時間予算に対応できるプログレッシブな設定（PCVG）に拡張し、新しいフレームワークX$^2$Localizerを提案する。
- 小型ロボットの移動性能向上のための高自由度・軽量な生体模倣脚脚機構/生体模倣2026/6/1
昆虫の脚を模した4自由度のマイクロ並進脚機構を提案し、設計・運動学解析と実験により高い運動柔軟性と軽量性を実証した。
- Tri-Info: 情報理論によるVLAモデルの汎用的で解釈可能な失敗予測VLA/失敗予測2026/6/1
VLAモデルの動作を情報理論の観点から分析し、成功と失敗で異なる情報的シグネチャを捉えるTri-Info信号を提案。再学習なしでアーキテクチャや環境をまたいで失敗を検出でき、実世界タスクでも高い精度を達成。
- EgoExoMem: 同期した自己中心・他者中心ビデオにわたるクロスビュー記憶推論ビデオ理解/ベンチマーク2026/5/18
自己中心視点と他者中心視点の同期ビデオを用いたクロスビュー記憶推論のベンチマークを新たに構築し、既存のマルチモーダルLLMでは困難であることを示した。また、学習不要のフレーム選択手法E^2-Selectを提案し、ベースラインを上回る性能を達成した。
- 実世界マルチロボットシステムにおける分散協調はモデル規模拡大よりも構造的相互作用の再設計で向上する群制御2026/5/1
実機10台の運搬・地図作成タスクで、ロボット間の通信トポロジーを全結合から階層型に変えると性能が47ポイント向上し、ニューラルネットの規模を2倍にしても9ポイントしか向上しないことを示した。
- 速さか強さか：重み付き集約とトークンプルーニングによる柔軟な視覚場所認識視覚場所認識2026/5/1
視覚場所認識の性能と推論速度を両立するため、クラスタへの重み付き集約で識別性を高め、トークンプルーニングで特徴抽出コストを削減する手法を提案した。
- 犬には障害物でなく人間には危険：盲導犬ロボットのための共自我ナビゲーションシステム歩行2026/3/1
盲導犬ロボットのナビゲーションにおいて、ロボットの地面センサーでは検知できないが人間の身長では危険な障害物（例：曲がった枝）を扱うため、ユーザーの視点を統合した二重分岐の回避システムを提案し、実験で有効性を示した。
- 360度を幻視する：局所シーン拡散と確率的プロンプティングによるパノラマ街路ビュー生成生成モデル2025/7/1
自動運転向けに、ステッチされたパノラマ画像を制御信号として一貫性のある360度パノラマ街路ビューを生成する初の手法Percep360を提案。局所シーン拡散法と確率的プロンプティング法で一貫性と制御性を実現。
- 制約からの解放：ソースフリー遮蔽認識シームレスセグメンテーションセグメンテーション2025/6/1
ソースデータやラベルなしで全景画像のセグメンテーションを行う新しいタスクSFOASSを提案し、UNLOCKという手法で360度視点と遮蔽認識を実現した。
- パノラマ分布外セグメンテーションセグメンテーション2025/5/1
360度パノラマ画像において、未知の物体（分布外）を検出する新タスクPanOoSを提案し、テキスト誘導プロンプト分布学習により既存手法を上回るPOSを実現した。
- ノイズラベル下での動画ベース運転者行動認識の探求行動認識2025/4/1
運転者行動認識においてラベルノイズに対処する初の手法を提案し、クラスタリングとサンプル選択で高精度化を実現した。
- LFX: ライトフィールドの密な意味セグメンテーションと顕著物体検出を統合するフレームワークライトフィールド認識2025/3/1
ライトフィールドの異なる表現形式に依存せず、意味セグメンテーションと顕著物体検出を同時に扱える初の統一学習フレームワークLFXを提案し、複数ベンチマークで最高精度を達成した。
- dARt Vinci: 手術ロボット学習のための大規模一人称視点データ収集手術ロボット/模倣学習2025/3/1
ARハンドトラッキングと高忠実度物理シミュレーションを組み合わせ、da Vinci手術ロボットの基本タスクにおけるデータ収集を効率化するプラットフォームを提案し、実機比でデータ量41%増、実験時間10%減を達成した。
- 経頭蓋磁気刺激のための画像誘導ロボットシステム：開発と実験的評価医療ロボティクス2024/10/1
脳画像を用いてTMSコイルの標準的な位置決めを計画し、ロボットで高精度・高再現性に配置するシステムを開発し、ファントムと予備的人間被験者実験で精度向上を実証した。
- 遮蔽を考慮したシームレスセグメンテーションセグメンテーション2024/7/1
パノラマ画像の狭い視野・遮蔽・ドメインギャップを同時に解決する新タスクOASSを提案し、データセットBlendPASSと手法UnmaskFormerを構築した。
- 指示付き原子行動認識行動認識2024/7/1
テキスト記述に基づいて特定人物の原子行動を動画から認識する新タスクRAVARを提案し、データセットRefAVAと専用手法RefAtomNetを構築した。
- DTCLMapper: ベクトル化HDマップ構築のための二重時間一貫性学習自動運転/HDマップ2024/5/1
BEV知覚における時間融合の冗長性を抑えるため、インスタンス埋め込みと幾何マップを組み合わせた二重時間一貫性学習でベクトル化HDマップを構築する手法を提案。
- GBEC: 幾何学ベースのハンドアイキャリブレーションキャリブレーション2024/4/1
ロボットのエンドエフェクタとセンサ間の変換を、従来の回帰手法ではなくエンドエフェクタとセンサ取り付けの幾何学のみから求める手法を提案し、経頭蓋磁気刺激や大腿骨形成術で精度と再現性の向上を示した。
- 変形可能な線状物体のリアルタイムロバスト形状推定形状推定2024/3/1
散在するキーポイントから確率的ラベリングとスプライン補間により、遮蔽や絡まりがある線状柔軟物体の形状をリアルタイムに推定する手法を提案した。
- ノイズラベルに頑健な骨格ベース人間行動認識フレームワークNoiseEraSAR行動認識2024/3/1
骨格データによる行動認識で問題となるラベルノイズに対処するため、サンプル選択・共教示・クロスモーダルMoEを統合したNoiseEraSARを提案し、ベンチマークで最高性能を達成した。
- 自動運転向けハイブリッド伝播によるオフボード占有予測の精緻化自動運転/3Dシーン理解2024/3/1
車載の視覚ベース3D意味シーン補完（SSC）予測を、オフボードで局所・大域の二段階伝播により高精度化するフレームワークOccFinerを提案し、SemanticKITTIで最先端性能を達成した。
- LF Tracy: ライトフィールドカメラにおける顕著物体検出のための統合シングルパイプライン手法顕著物体検出2024/1/1
ライトフィールド画像の顕著物体検出において、シングルパイプラインのエンコーダと効率的な情報集約モジュール、およびMixLDというデータ拡張戦略を提案し、大規模PKUデータセットで従来手法を23%上回る性能を達成した。
- モダリティ欠損シーンセグメンテーションのためのフーリエプロンプトチューニングマルチモーダルセグメンテーション2024/1/1
自動運転のマルチモーダルセグメンテーションにおいて、モダリティの欠損やセンサーエラーに対処するタスクを設定し、欠損を考慮したモダリティスイッチ戦略とフーリエプロンプトチューニングを提案した。
- 骨格ベース行動認識におけるオープンセットシナリオへの対応行動認識2023/12/1
骨格データのみを用いたオープンセット行動認識タスクを定式化し、未知行動を棄却するためのクロスモーダルな距離ベースアンサンブル手法CrossMaxを提案した。
- CoBEV: 奥行きと高さの相補性を活用した路側3D物体検出の高度化3D物体検出2023/10/1
路側カメラの単眼3D物体検出において、奥行き特徴の幾何情報と高さ特徴の意味情報を相補的に融合するCoBEVを提案し、BEV表現を構築して検出精度とロバスト性を向上させた。
- 効率的なマルチモーダル自己教師あり学習による骨格ベース行動認識の向上行動認識2023/9/1
骨格データを用いた行動認識において、モダリティ間の性能差を考慮した知識交換モジュールと新たなモダリティを導入し、関係性蒸留で効率化を図る手法を提案。
- 遮蔽環境における自己教師あり骨格ベース行動認識の探求行動認識2023/9/1
遮蔽された骨格系列に対応するため、クラスタ非依存KNN補完と遮蔽部分時空間学習を組み合わせた自己教師あり学習フレームワークIosPSTLを提案し、NTU-60/120の遮蔽版で最高性能を達成した。
- 視覚障害者支援のためのオープンシーン理解：接地状況認識とSegment Anythingの融合シーン理解2023/7/1
視覚障害者支援に向け、接地状況認識（GSR）とSegment Anything Model（SAM）を組み合わせ、物体のピクセル単位の密なセグメンテーションマスクを生成するOpenSUシステムを提案。純粋なTransformer骨格とGELU活性化で性能と収束を改善し、SWiGデータセットで最先端を達成。
- 幾何特徴に基づく移動ロボット向けの密結合LiDAR-視覚SLAMSLAM2023/7/1
LiDARと単眼視覚SLAMを密結合し、幾何特徴の深度とセマンティクスを融合してバンドル調整に方向最適化を加えることで、移動ロボットの自己位置推定を高精度化・堅牢化した研究。
- OAFuser: ライトフィールド意味セグメンテーションのための全開口融合ライトフィールドセグメンテーション2023/7/1
ライトフィールドカメラの冗長な角度情報を効率的に処理し、中心視点とサブアパーチャ画像を融合して高精度な意味セグメンテーションを実現するOAFuserを提案。
- Bi-Mapper: 自動運転のための統合的BEVセマンティックマッピングBEV認識2023/5/1
俯瞰視点と局所的な事前知識を組み合わせ、非同期相互学習とAcross-Space Lossで遠方の幾何学的歪みを抑えつつ、前視点画像からBEVセマンティックマップを生成する手法を提案。
- 多様なドメインにおける行動認識のための少数ショット適応の探求ドメイン適応2023/5/1
行動認識における少数ショットドメイン適応の新しいベンチマークを5つのデータセットで構築し、少数のラベル付き目標ドメイン動画を知識ガイダンスとして活用するRelaMiX手法を提案した。
- FishDreamer: 魚眼画像の意味補完を統合的な画像外挿とセグメンテーションで実現魚眼セグメンテーション2023/3/1
魚眼カメラの死角領域を含む画像全体のテクスチャと意味情報を、ViTと極座標対応クロスアテンションを用いて同時に推定する新手法を提案し、専用データセットも構築した。
- 実環境における活性化筋群推定に向けて筋活動推定2023/3/1
動画から身体活動中の活性化筋群を推定する新タスクAMGEを提案し、HIIT動画15K件超を含むMuscleMapデータセットと、動画と骨格のマルチモーダル融合モデルTransM3Eを構築した。
- MateRobot：視覚障害者向けウェアラブルロボティクスにおける素材認識ウェアラブルロボティクス2023/2/1
視覚障害者が触れる前に物体や素材を認識できるよう、軽量なセグメンテーションモデルMateViTを搭載したウェアラブル視覚ロボットシステムを開発し、実地テストで低い認知負荷を確認した。
- サブアテンション融合に基づくマルチモーダルうつ病推定マルチモーダル2022/7/1
音声・視覚・テキストのマルチモーダルデータからうつ病を自動推定するため、サブアテンション機構と畳み込み双方向LSTMを組み合わせた手法を提案し、DAIC-WOZベンチマークで有効性を示した。
- あらゆるドメインの背後にはシフトがある：歪み対応Vision Transformerの全天球セマンティックセグメンテーションへの適応セマンティックセグメンテーション2022/7/1
全天球画像の歪み・物体変形に対応するDeformable Patch EmbeddingとDeformable MLPを備えたTrans4PASS+を提案し、擬似ラベル補正による相互プロトタイプ適応と新データセットSynPASSを導入して、ドメイン適応型全天球セマンティックセグメンテーションで最高性能を達成した。
- Trans4Map: 視点中心画像から全周知覚セマンティクスへの俯瞰マッピングをVision Transformerで再考するマッピング2022/7/1
一人称視点の画像列から俯瞰視点のセマンティックマップを生成する、単一ステージのTransformerベースのエンドツーエンド手法を提案し、従来手法より少ないパラメータで高精度を達成した。
- RGB-Dセンサと動的SLAM・パノプティックセグメンテーションによる視覚障害者向け屋内ナビゲーション支援視覚障害者支援/ナビゲーション2022/4/1
RGB-Dセンサでパノプティックセグメンテーションと自己位置推定を行い、動的障害物を検出・追跡して音響フィードバックで視覚障害者に伝える屋内支援システムを提案した。
- TransDARC：潜在空間の特徴量キャリブレーションを備えたトランスフォーマーによる運転者行動認識行動認識2022/3/1
車内の運転者行動を認識するため、視覚トランスフォーマーと潜在特徴空間での特徴分布キャリブレーションを組み合わせたフレームワークを提案し、センサ変化に対する汎化性能と認識精度を向上させた。
- 歪みを考慮したTransformerによる全天球セマンティックセグメンテーションへの適応セマンティックセグメンテーション2022/3/1
ピンホール画像の注釈を全天球画像のセグメンテーションに活用するため、歪みと物体変形を学習するDeformable Patch EmbeddingとDeformable MLPを備えたTransformerと、教師なしドメイン適応のための相互プロトタイプ適応を提案した論文。
- マルチソース混合サンプリングとメタ学習による事故シーンの堅牢なセマンティックセグメンテーションセマンティックセグメンテーション2022/3/1
正常シーンの複数ソースドメインを異常シーンの見た目で拡張するマルチドメイン混合サンプリングとメタ学習を組み合わせ、事故シーンへのセグメンテーション汎化性能を高めるMMUDAフレームワークを提案した論文。
- MatchFormer: 特徴マッチングのためのTransformer内でのアテンション交互配置特徴マッチング2022/3/1
階層型エンコーダの各段で自己アテンションによる特徴抽出とクロスアテンションによるマッチングを交互に行うことで、低テクスチャ環境でも高精度かつ高速な特徴マッチングを実現した研究。
- CMX: TransformerによるRGB-Xセマンティックセグメンテーションのためのクロスモーダル融合マルチモーダル融合2022/3/1
深度・熱・偏光・イベント・LiDARなど多様な補助モダリティを統一的に扱うTransformerベースの融合フレームワークCMXを提案し、複数のRGB-Xベンチマークで最先端性能を達成した。
- TransKD：効率的なセマンティックセグメンテーションのためのTransformer知識蒸留セマンティックセグメンテーション2022/2/1
大規模Transformer教師の特徴マップとパッチ埋め込みを蒸留し、FLOPsを85%以上削減したコンパクトな生徒Transformerを学習する枠組みを提案。
- 多様な遮蔽に頑健なワンショット骨格行動認識への取り組み骨格行動認識2022/2/1
骨格系列のワンショット行動認識において、ランダム遮蔽と日常物体による現実的な遮蔽のベンチマークを構築し、3ストリームと混合注意融合を用いたTransformerモデルTrans4SOARを提案した論文。
- 視野を超えた転移：教師なしドメイン適応による高密度パノラマ意味セグメンテーションドメイン適応2021/10/1
ピンホール画像で学習したモデルをラベルなし360度パノラマ画像に適応させる教師なしドメイン適応タスクを定式化し、新データセットDensePASSと注意機構付き適応フレームワークP2PDAを提案した論文。
- Trans4Trans：透明物体と意味的シーン分割のための効率的Transformerによる視覚障がい者ナビ支援セグメンテーション2021/8/1
ガラス扉などの透明障害物を分割できるデュアルヘッドTransformerモデルTrans4Transを提案し、深度情報と組み合わせたウェアラブル支援システムで安全なナビゲーションを実現した。
- 空飛ぶ盲導犬：ドローンとTransformerによる歩行可能経路の発見視覚障害者支援/ドローン2021/8/1
ドローンと街路画像のセマンティックセグメンテーションを用いて視覚障害者の歩行可能な経路を案内する「空飛ぶ盲導犬」プロトタイプを提案し、信号認識用データセットも構築した。
- DensePASS: 注意機構強化型コンテキスト交換による教師なしドメイン適応を用いた高密度パノラマ意味セグメンテーションドメイン適応/パノラマセグメンテーション2021/8/1
ピンホールカメラ画像で学習したモデルをラベルなしの360度パノラマ画像に適応させる教師なしドメイン適応タスクを定式化し、新データセットDensePASSと注意機構ベースのフレームワークを提案した論文。
- MASS: LiDARデータの密な上面俯瞰理解のためのマルチアテンション意味セグメンテーションLiDARセグメンテーション2021/7/1
LiDARの柱・占有特徴を入力に、グラフ注意・LSTM注意・柱注意の3ブロックで360度の密な上面セグメンテーションマスクを生成するモデルを提案し、SemanticKITTIとnuScenes-LidarSegで高精度を達成した。
- HIDA：ウェアラブル固体LiDARと3Dインスタンスセグメンテーションによる視覚障害者向け屋内理解支援システム3Dセグメンテーション/視覚障害支援2021/7/1
固体LiDARで取得した3D点群を軽量なインスタンスセグメンテーションモデルで解析し、障害物回避と物体探索を音声案内する視覚障害者向け支援システムを提案・実証した。
- Trans4Trans：透明物体セグメンテーションで視覚障害者の歩行を支援する効率的Transformerセグメンテーション2021/7/1
ガラス扉などの透明物体を高精度にセグメンテーションする二頭型Transformerモデルを開発し、携帯GPUで動作するウェアラブル歩行支援システムとして実証した。
- スキル系列に依存する長期操作タスク向け階層型方策の学習マニピュレーション2021/5/1
観測だけでなくスキルの系列も入力に取り込む階層型強化学習方策を提案し、長期ホライズンの操作タスクをPPOやタスクスキーマ法より大幅に効率的に学習できることを示した。
- Pose2Drone：骨格姿勢推定に基づく人-ドローンインタラクションフレームワーク人-ドローンインタラクション2021/5/1
骨格姿勢推定を用いて腕のジェスチャーでドローンを操作し、安全距離を保ちながらユーザーを追従するHDIフレームワークを提案。単眼画像のみで距離推定も行い、11種類のジェスチャー認識で平均93.5%の精度を達成した。
- 視覚障害者向けナビゲーション知覚のためのPanoptic Lintentionネットワーク視覚障害者支援/パノプティックセグメンテーション2021/3/1
線形時間・線形空間で長距離相互作用をモデル化するLintention注意機構を提案し、それを用いたパノプティックセグメンテーションモデルで視覚障害者の歩行支援を効率化した。
- 視覚障害者向けウェアラブルシステムにおけるリアルタイム意味セグメンテーションとシーン認識による知覚フレームワーク視覚障害者支援/意味セグメンテーション2021/3/1
視覚障害者支援のため、ResNetを基盤に意味セグメンテーションとシーン認識を同時に行う軽量な知覚システムを開発し、ウェアラブルベルト上で実時間動作を実現した。
- 全天球セグメンテーションのための全方位コンテキストの獲得全方位セグメンテーション2021/3/1
360度画像の長距離依存を直接捉えるEfficient Concurrent Attention Networksを提案し、マルチソース・全方位教師あり学習とWildPASSデータセットで全天球セマンティックセグメンテーションの性能を大幅に向上させた論文。
