Matthew Johnson-Roberson
収録論文 55本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 接触前実行監視：行動条件付き潜在世界モデルによるコンタクトガード操作/監視2026/8/1
ロボットの接触を伴う操作において、接触前に失敗を予測して動作を中断する監視システムを提案。未ラベルの軌跡から潜在世界モデルを学習し、計画された行動の結果を予測して失敗を検出する。
- Rewind-IL: 模倣学習のためのオンライン故障検出と状態リスポーン模倣学習2026/4/1
模倣学習ポリシーの実行中に発生する故障を検出し、安全な中間状態に巻き戻して回復させる、トレーニング不要のオンライン安全フレームワークを提案した。
- クロスモーダル指示によるロボット動作生成VLA2025/9/1
自由記述テキストなどの粗い注釈を指示として使い、視覚言語モデルと微調整モデルを組み合わせて3D動作軌道を生成するCrossInstructを提案し、強化学習と組み合わせて実機・シミュレーションで検証した。
- 動画デモからの実行可能なロボット動作生成のための関節フロー軌道最適化模倣学習2025/9/1
人間の動画デモを物体中心のガイドとして扱い、把持姿勢選択・物体軌道生成・衝突回避を統合した微分可能な最適化により、ロボットの関節制約を満たす動作を生成するフレームワークを提案。
- 単一画像から陰的表面モデルを効率的に構築するFINSsim2real2025/9/1
単一または少数のRGB画像から高精度な陰的表面とSDF場を数秒で再構築する軽量フレームワークFINSを提案し、ロボットの表面追従タスクへの応用を示した。
- 単一画像から動画生成環境表現を介した運動方策へナビゲーション2025/5/1
1枚のRGB画像から動画生成モデルで多視点映像を作り、3D基盤モデルで点群を再構成して衝突回避運動を生成する枠組みVGERを提案。
- 双腕ロボットのカメラキャリブレーションとシーン表現の同時推定キャリブレーション2025/5/1
複数のロボットアームに搭載されたカメラの外部キャリブレーションと腕間の相対姿勢、共有作業空間の3D表現を、マーカーなしで同時に推定するフレームワークを提案。
- GraphSeg: グラフの辺追加と縮約によるセグメント化された3D表現3Dセグメンテーション2025/4/1
深度情報なしの少数の2D画像から、2Dの類似度と推定3D構造の二重対応グラフを構築し、辺の追加とグラフ縮約で一貫した3D物体セグメンテーションを生成する手法。
- 海の果てまで無限に続くリーグ：潜在フラクタル拡散モデルによるフォトリアルな3D海底地形生成3D生成/拡散モデル2025/3/1
海底探査ロボットの実画像から3D形状と意味情報を抽出し、フラクタル潜在表現で条件付けした拡散モデルでRGBD海底画像を生成、3DGSで統合することでフォトリアルな大規模海底シーンを生成する手法DreamSeaを提案。
- 曖昧さのない空間基盤モデルに向けて：深度曖昧性の再考と分離空間理解2025/3/1
透明シーンなどで生じる深度曖昧性に対処するため、単一予測ではなく複数仮説を扱う空間基盤モデルを提案し、学習不要のラプラシアン視覚プロンプトで多層深度を推定する手法を開発した。
- ノイズを含む動画からのロバストな自己運動推定と3D再構成のためのスケーラブルなベンチマークと学習3D再構成2025/1/1
ノイズの多い動画でも高精度な自己運動推定と3D再構成を実現するため、ノイズ合成パイプラインとベンチマークRobust-Ego3Dを構築し、テスト時適応手法CorrGSを提案した。
- ロバストベイズシーン再構成：検索拡張事前分布による精密把持と計画シーン再構成2024/11/1
単一RGBD画像から多物体シーンを再構成するため、既存メッシュデータベースから検索した事前分布をベイズ推論に組み込むBRRPを提案し、遮蔽部分の形状推定と不確かさの定量化を実現した。
- PhotoReg: 3Dガウシアンスプラッティングモデルのフォトメトリック位置合わせ3DGS2024/10/1
複数の3Dガウシアンスプラッティングモデルを、3D基盤モデルとフォトメトリック損失を用いてスケールを揃えながら統合するフレームワークを提案。
- SplaTraj: セマンティックGaussian Splattingによるカメラ軌道生成シーン表現/軌道生成2024/10/1
言語指示に基づき、Gaussian Splattingで再構成した環境内を映える形で巡るカメラ軌道を連続時間最適化で生成するフレームワーク。
- Embodied-RAG: 具現化エージェントのための汎用ノンパラメトリック記憶検索生成VLA2024/9/1
ロボットの探索で得たマルチモーダルな知識を階層的な「意味の森」として記憶し、ナビゲーションや言語生成に活用するRAGフレームワークを提案した。
- 3D基盤モデルによる把持物体の形状と姿勢の同時推定マニピュレーション2024/7/1
3D基盤モデルを活用し、外部カメラのキャリブレーションなしで、ロボットが把持した物体の形状と姿勢をRGB画像から同時に推定する手法を提案した。
- 完全からノイズ世界シミュレーションへ：SLAMロバスト性ベンチマークのためのカスタマイズ可能な身体性マルチモーダル摂動SLAM2024/6/1
RGB-D SLAMモデルのロバスト性評価のため、センサ・運動摂動を体系的に分類し合成するパイプラインと大規模ベンチマークNoisy-Replicaを提案した。
- 共有RGB-Dフィールドの学習：LiDAR-カメラ3D知覚のためのラベル効率の良い統一自己教師あり事前学習VLA2024/5/1
LiDARとカメラの3D知覚モデル向けに、NeRFを活用して両モダリティを統一的にマスク再構成する自己教師あり事前学習手法NS-MAEを提案し、ラベル効率の良いファインチューニングで従来手法を上回る性能を示した。
- 3D基盤モデルによるシーン表現とハンドアイキャリブレーションの統合キャリブレーション2024/4/1
マニピュレータ搭載RGBカメラの画像から、キャリブレーションマーカーなしで環境表現の構築とカメラ-エンドエフェクタ間のキャリブレーションを同時に行うJCR手法を提案。
- 人間のスケッチでロボットの行動場所と動作を教える：空間図式指示マニピュレーション2024/3/1
人間がカメラ画像上にスケッチした領域を3D空間に投影し、連続的な空間指示マップを学習してロボットの最適化問題に組み込む手法を提案。移動マニピュレータのベース配置問題に適用し、高品質な解と高速な実行を実現した。
- DarkGS: 暗闇でのロボット探査のためのニューラル照明学習と3Dガウシアン再照明3D再構成/再照明2024/3/1
移動する光源下の暗い環境で、カメラと光源の系をニューラルにモデル化し、再照明可能な3Dガウシアンシーンを構築して実時間で写実的な新視点画像を生成する手法を提案した。
- V-PRISM: 未知の卓上シーンの確率的マッピングシーン認識2024/3/1
セグメント済みRGB-D画像から卓上シーンの3D表現を確率的に構築する手法を提案し、占有・セグメンテーション・不確かさを同時に推定する。
- ロバストSLAMベンチマークのためのカスタマイズ可能な摂動合成SLAM2024/2/1
多様な摂動を加えたノイズ環境を合成するパイプラインを提案し、マルチモーダルSLAMモデルのロバスト性を評価するベンチマークを構築した。
- 基盤モデルによる汎用ロボットの実現に向けて：サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- スケッチでロボットに教える：確率的図式教示による模倣学習模倣学習2023/9/1
ユーザーが2D画像上にスケッチした軌跡から3D空間の動作軌道を生成する「図式教示」という新しい模倣学習パラダイムを提案し、レイトレーシングを用いた確率的軌道学習フレームワークで実現した。
- 見えないものを推論する効率的な屋外物体ナビゲーションナビゲーション2023/9/1
屋外環境での物体ゴールナビゲーションの新タスクOUTDOORを提案し、LLMが未来を幻視する仕組みと計算考慮型成功指標を導入、シミュレーションドローンと実機四足歩行ロボットで有効性を示した。
- 軌道安定系の学習による図式教示図式教示2023/9/1
ユーザーが与えた1枚の手描きスケッチから、ロボットが表面に接近し周期的な動きをする軌道安定な力学系を学習する枠組みを提案。
- NeRFを超えて：海洋画像の真の色補正のためのニューラル反射率場の学習水中画像補正2023/4/1
水中画像の色歪みを補正するため、水の光減衰と後方散乱をモデル化し、ニューラル反射率場でアルベド・法線・密度を学習する手法を提案。合成・実データで既存手法より色の一貫性が向上。
- 極限深海環境における自動サンプル採取・回収への取り組みマニピュレーション2021/12/1
ROVのマニピュレータによる海底からの生物サンプル自動採取・回収のため、ハードウェア非依存の視覚システムと動作計画を開発し、コスタリカ沖や海底火山コロンボで実証した。
- 水中ロボットマニピュレータシステムのためのハイブリッドビジュアルSLAM水中SLAM2021/12/1
車載ステレオカメラと手首装着魚眼カメラの特徴をグラフ最適化で融合し、自然な海底環境で高精度に地図構築するハイブリッドビジュアルSLAMを提案し、実海域データで評価した。
- リアルタイム画像ジオローカリゼーションのためのクロススケール視覚表現学習ジオローカリゼーション2021/9/1
GPSの使えない環境で、画像を2Dマルチモーダル地理空間マップ上に位置推定するため、クロススケールの視覚表現を教師なしで学習する枠組みを提案し、水中・航空の2領域で有効性を示した。
- 一般高速道路シナリオにおける軌道予測のための運動学モデル軌道予測2021/3/1
車間追従と車線変更の運動学モデルを提案し、様々な高速道路シナリオでの軌道予測に拡張した。多様なセンシング条件下の実験で最先端手法を上回る性能を示した。
- 部分点群解析のための点集合投票点群解析2020/7/1
局所点集合ごとに潜在空間への投票を行い、最も確率の高い潜在特徴を推定することで、欠損のある部分点群でも頑健に分類・セグメンテーション・補完を行う手法を提案した。
- BiTraP: マルチモーダルなゴール推定を用いた双方向歩行者軌道予測軌道予測2020/7/1
歩行者の軌道の終点（ゴール）を推定し、双方向デコーダで未来軌道を予測することで長期予測の誤差蓄積を抑えるCVAEベース手法を提案した論文。
- 熱画像動画のピクセル単位モーションブレ除去熱画像処理2020/6/1
熱カメラ特有の画素ごとの熱慣性によるモーションブレを、ピクセル単位のLASSO問題として定式化し高速に解くことで、空間情報を使わずにブレを除去する手法を提案した論文。
- 歩道の外へ：自動運転車のための共有空間における歩行者予測歩行者予測2020/6/1
歩行者が譲るタイミングを学習するリスクベースの注意機構と車両影響モデルを組み合わせ、共有空間と従来の道路の両方で高精度かつ解釈可能な歩行者軌跡予測手法OSPを提案した。
- 水中光学システムのパラメトリック設計ツール水中光学設計2020/4/1
水中ロボットのカメラ・レンズ・ハウジングなどの光学系設計を、試行錯誤ではなくパラメータ探索で支援するオープンソースツールを提案し、水中光効果のモデル化も行った論文。
- 安全なリアルタイムマニピュレータ軌道設計のための可到達集合マニピュレーション2020/2/1
各関節の可到達集合を事前計算し、実行時に障害物との交差から安全制約を生成して軌道最適化を行う、安全性保証付きリアルタイム軌道計画手法ARMTDを提案した。
- テンプレート・アンカーフレームワークによる安全なオンライン歩行設計歩行2019/9/1
テンプレートモデル上で到達可能性解析を行いモデル誤差を考慮することで、アンカーモデルに対する安全保証付き制御器をオンラインで生成する手法を提案し、5リンクRABBITモデルで安全な歩行を実現した。
- 双方向到達可能性を用いた自動運転のリスク評価と計画自動運転計画2019/9/1
遮蔽環境下でも前方・後方到達可能性を組み合わせて危険因子を特定し、スロットル操作まで含めた経路計画を行う自動運転手法を提案し、見通しの悪い交差点で衝突率を大幅に低減した。
- 短時間観測で高速道路の軌道を予測する確率的モデル軌道予測2019/9/1
車間追従モデルを確率化し、わずか400msの観測から他車の軌道を高精度に予測する手法を提案した。
- LiStereo: LIDARとステレオ画像から高密度深度マップを生成センサフュージョン2019/5/1
LIDARの正確だが疎な深度とステレオ画像の密だが誤差のある深度を自己教師あり学習で融合し、低解像度入力でも高品質な高密度深度マップを生成する手法を提案。
- 歩行者軌道予測のための確率的サンプリングシミュレーション歩行者予測2019/3/1
少量の実アノテーションから確率的サンプリングで自動注釈付きのリアルな歩行者軌道を大量生成し、Social GANの学習に用いることで、実データ学習を上回る予測性能を達成した。
- 任意の動的環境における自律ロボットの無過失制御への理論的アプローチ制御/安全性2019/2/1
任意の非線形動力学モデルを持つロボットが動的環境の予測に対して衝突時に過失を負わないことを保証する、到達可能性に基づく軌道設計手法RTD-Dを提案した論文。
- 冗長マニピュレータのための制約付き制御・計画統合戦略マニピュレーション2018/10/1
システムと環境の制約下で冗長マニピュレータを動かすため、低レベル制御と高レベル計画を統合した計算効率の良い手法を提案し、7自由度マニピュレータの実機実験で有効性を示した。
- SilhoNet：単眼RGB画像からの6D物体姿勢推定手法6D姿勢推定2018/9/1
単眼カメラ画像のみから物体の6自由度姿勢を推定するCNNベースの手法SilhoNetを提案し、シルエット表現と3D並進を予測して姿勢を回帰、YCB-Videoデータセットで既存手法を上回る性能を示した。
- Bio-LSTM：歩行周期と身体対称性を考慮した歩行者3D姿勢・歩容予測ネットワーク歩行予測2018/9/1
歩行の周期性・身体の左右対称性・床反力変化を損失関数に組み込み、複数歩行者の将来の3D姿勢と位置をSMPLメッシュで同時予測する再帰型NNを提案した。
- PedX: 複雑な都市交差点における歩行者のメートル単位3D姿勢推定のためのベンチマークデータセット3D姿勢推定2018/9/1
都市交差点の歩行者を対象に、高解像度ステレオ画像とLiDAR、2D/3Dラベルを備えた大規模マルチモーダルデータセットPedXを構築し、異なるモダリティの制約と形状・時間的事前分布を活用した自動3Dラベリング手法を提案した論文。
- 移動ロボットの後退ホライズン軌道設計における安全性とリアルタイム性能の両立軌道計画2018/9/1
オフラインで計算した前方可到達集合を用いて障害物をパラメータ化軌道に対応付け、リアルタイムに安全な軌道を選ぶRTD手法を提案し、安全性と実行可能性を保証しつつ計画速度を向上させた。
- 都市環境における遮蔽を考慮した自動運転リスク評価自動運転/リスク評価2018/9/1
道路レイアウトを利用して遮蔽領域やセンサ範囲外に潜む車両のリスクを予測・定量化し、衝突率を大幅に低減するアルゴリズムを提案した。
- 自動運転車の知覚失敗を自律的に特定する手法自動運転知覚2017/7/1
物体検出器の誤検出を正解ラベルなしで自動発見するため、時間的・ステレオ画像間の不整合を手がかりに二値分類器で有効な誤りを特定する手法を提案した。
- 実時間で確率的保証付き歩行者予測の技術報告歩行者予測2017/6/1
シーン内の履歴軌跡から学習した常微分方程式の重み付き和により歩行者を確率的に予測する手法を提案し、リアルタイム動作と長期予測精度の向上を実証した。
- 未知環境における自動運転のための安全な軌道生成軌道計画2017/5/1
低忠実度モデルで軌道を設計し、高忠実度モデルの保守的な前方可到達集合を用いて障害物との衝突を排除することで、未知環境でもリアルタイムに安全を保証する軌道計画手法を提案した。
- WaterGAN：水中画像のリアルタイム色補正を可能にする教師なし生成ネットワーク画像生成・色補正2017/2/1
空中画像と深度情報からリアルな水中画像を生成するGANを提案し、その生成データで単眼水中画像の色補正を学習する手法を実現した。
- バーチャル世界で走る：合成データは実世界タスクの人手アノテーションを代替できるかsim2real2016/10/1
シミュレーションエンジンで生成した写実的な合成画像とアノテーションのみで学習した車両検出モデルが、KITTIデータセット上で人手アノテーション学習モデルを上回る性能を示した。
