Jean Oh
Carnegie Mellon University
収録論文 73本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 相対接触速度制御による手指機構で巧みな道具操作を実現マニピュレーション2026/9/22
人間の道具操作に着想を得て、手指と道具を統合した「ハンド・オブジェクト機構」を定義し、相対接触速度と接触力の制約に基づく運動計画・接触推定フレームワークを開発。5種類のロボットハンドで道具の把持から操作までの一連の動作を実現した。
- 同じ軌道、矛盾する報酬（ROBORMBENCH）：視覚言語報酬モデルにおける言い換えの脆弱性VLM報酬モデル2026/9/4
視覚言語モデルをロボット学習の報酬関数として使う際、意味的に等価な指示の言い換えで報酬が大きく変わり、成功と失敗が反転することもあることを示し、その脆弱性を測るベンチマークROBORMBENCHを構築した。
- 言語フィードバックによるVLAモデル失敗の訓練不要な行動補正VLA2026/8/30
VLAモデルの実行時失敗を、再訓練なしにタスクレベルの自然言語補正で行動の大きさを調整して修正するフレームワークCorrectVLAを提案。シミュレーションと実ロボットで有効性を示し、修正可能な失敗の境界を明らかにした。
- ControlledShifts: 分布シフト下での軌道予測におけるロバスト性評価の標準化に向けて軌道予測2026/8/18
軌道予測モデルの分布シフトに対するロバスト性を標準化して評価するフレームワークとベンチマークスイートを提案し、既存データセットを系統的に再分割して複数のシフトを生成し、統一的なロバスト性スコアでモデルを評価する。
- シナリオ特性化：軌跡データセット全体の安全性評価のためのモジュール型ツールキット自動運転/データセット分析2026/8/17
運転シナリオの軌跡データセットを自動的に分析・特性化するオープンソースのフレームワークを提案し、データセットに依存しないモジュール構成で安全性評価を可能にする。
- 微分可能な物理レンダリングによるオンライン・オフライン手書きの橋渡し手書き生成2026/8/1
筆跡の軌跡と見た目を結ぶ物理ブラシモデルと微分可能レンダリングを導入し、オンラインとオフラインの手書き生成を統合するフレームワークを提案した。
- VibeAct: 振動から行動へ - 接触の多い反応的ロボット器用操作のための手法器用操作2026/6/1
圧電マイクで取得した実振動信号を、シミュレーションで共有可能な接触・滑り表現に変換し、実世界とシミュレーションのギャップを埋めることで、器用なロボットハンドのポリシー学習を可能にするフレームワークを提案した。
- 視覚的彫塑：長期的ロボット粘土彫刻のための視覚整合プランニング表現変形操作2026/5/1
粘土彫刻を形状マッチング問題として捉え、視覚的特徴を捉えたダイナミクスモデルとプランニング手法を提案。複数の変形材料とエンドエフェクタで長期的彫刻を実証した。
- RIO: クロスエンボディメントロボット学習のための柔軟なリアルタイムロボットI/Oロボット学習基盤2026/5/1
多様なロボットハードウェアと形態に対応した、柔軟で軽量なロボット制御・遠隔操作・データ整形・センサ設定・ポリシー展開のためのオープンソースPythonフレームワークを提案し、VLAモデルの展開と微調整を実証した。
- A-SLIP: 音響センシングによる連続的な手内滑り推定触覚/滑り推定2026/4/1
平行ジョーグリッパに圧電マイクを組み込み、接触振動を音響信号として捉え、軽量CNNで滑りの有無・方向・大きさをリアルタイム推定するシステムを提案した。
- 仮想人間デモからソフトロボットポリシーへの機能的な力認識リターゲティングソフトロボティクス/リターゲティング2026/4/1
ソフトロボットハンドに人間の操作スキルを教えるため、接触力を明示的に考慮した2段階の力認識リターゲティング手法を提案し、実世界での成功率を向上させた。
- SOFTMAP: トポロジカルメッシュ整列と物理事前知識によるソフトロボットのSim2Real順モデリングソフトロボティクス/sim2real2026/3/1
腱駆動ソフトフィンガーの3次元順モデルを、シミュレーションと実データを組み合わせて高精度に学習するフレームワークを提案。
- SysNav: マルチレベル系統的協調による実世界・クロスエンボディ物体ナビゲーションの実現ナビゲーション2026/3/1
実世界の物体ナビゲーションをシステムレベルで捉え、セマンティック推論・ナビゲーション計画・運動制御を分離した3層システムSysNavを提案し、車輪型ロボット、四足、人型の3つの異なるエンボディで実証した。
- ハミルトン・ヤコビ到達可能性と強化学習による自転車との安全なインタラクション自動運転/強化学習2026/2/1
自動運転車が自転車と安全かつ効率的に相互作用するため、ハミルトン・ヤコビ到達可能性解析と深層Q学習を組み合わせ、安全性を考慮した報酬設計と自転車の反応モデルを導入したフレームワークを提案。
- 信頼する前に：基盤モデルのナビゲーション意思決定における失敗ナビゲーション2026/1/1
基盤モデルのナビゲーション意思決定を3設定6タスクで評価し、高い成功率の裏に構造的空間理解の欠如や制約違反などの重大な失敗があることを示した。
- LongComp: ロバストな軌道予測のためのロングテール合成ゼロショット汎化軌道予測2025/11/1
自動運転の軌道予測において、安全上重要な稀なシナリオへの汎化を評価する新たなロングテール設定を提案し、タスクモジュラーゲーティングと難易度予測ヘッドでOOD性能ギャップを削減した。
- 正負のデモンストレーションとルールベース仕様から学ぶソーシャルナビゲーションソーシャルナビゲーション2025/10/1
正例・負例のデモから密度ベース報酬を学習し、ルールベースの目的と組み合わせて安全で適応的な移動ロボットナビゲーション方策を蒸留するフレームワークを提案した。
- DYMO-Hair: ロボットによる髪の毛操作のための汎化可能な体積動力学モデリングマニピュレーション2025/10/1
髪の毛の複雑な動力学を学習し、モデル予測制御を用いてロボットが目標の髪型にスタイリングするシステムを提案。シミュレーションと実機で未知の髪型にも汎化することを示した。
- 視覚音響融合による手姿勢と接触推定触覚2025/8/1
骨伝導スピーカーと圧電マイクを手に装着し、音響信号とRGB-D画像をグラフ注意ネットワークで統合することで、遮蔽や静的な接触時でも高精度に手の姿勢と接触を推定するウェアラブルシステムを提案。
- 多様体メッシュ上の転がり・滑り接触の測地線追跡に基づく運動学的統合と巧みな把持内操作マニピュレーション2025/8/1
メッシュ上で転がり・滑り接触を測地線追跡により時間積分する手法を提案し、多指ハンドによる把持内操作の計画に応用して精度と安定性を評価した。
- 実世界の衝突データに基づく自動運転向け安全臨界シナリオ生成自動運転シナリオ生成2025/7/1
実世界の衝突データから危険な運転行動の埋め込み表現を学習し、それを敵対的シナリオ生成に組み込むことで、より現実的で高リスクな安全臨界シナリオを生成する手法を提案した。
- STRIVE: VLM推論を統合した構造的表現による効率的物体ナビゲーション物体ナビゲーション2025/5/1
VLMを物体ナビゲーションに活用するため、環境を視点・物体・部屋の階層で表現し、VLM推論による高レベル計画と低レベル探索を組み合わせる二段階方策を提案。シミュレーションと実機で成功率と効率を向上させた。
- 幾何誘導コントラスト学習によるスペクトル別・マルチスペクトル深度推定の橋渡し深度推定2025/3/1
マルチスペクトル画像から深度を推定するため、幾何情報を手がかりにコントラスト学習でスペクトル間の埋め込み空間を整列し、選択的に特徴を統合するモジュールを学習する手法を提案。
- KineSoft：ソフトロボットハンドの固有感覚マニピュレーション方策の学習ソフトロボティクス/模倣学習2025/3/1
ソフトロボットハンドの自然な柔軟性を活かし、内部ひずみセンサで形状を推定しながら、人間が直接教示できる模倣学習フレームワークを提案。
- 柔軟でコンプライアントな接触の多いヘアケアマニピュレーションソフトロボティクス/マニピュレーション2025/1/1
腱駆動の柔軟ロボットハンドとRGBDカメラを用い、頭を撫でる・指で梳かす・髪を掴むヘアケアタスクを実現し、視覚変形と腱張力から力を推定する手法を提案した。
- 微分可能マルチフィジックスシミュレーションにおける強化学習の安定化sim2real2024/12/1
剛体と変形可能物体の相互作用を含むタスクで強化学習をスケールさせるため、最大エントロピー型のモデルベースRLアルゴリズムSAPOと、並列微分可能マルチフィジックスシミュレータRewarpedを提案した。
- Spline-FRIDA：多様で人間らしい筆致を実現するサンプル効率の良い微分可能筆ストロークモデルマニピュレーション2024/12/1
モーションキャプチャで人間の筆致を記録し、オートエンコーダと新たなストローク動力学モデルでロボット描画プラットフォームFRIDAを拡張、より人間らしく芸術的な筆致を生成できるようにした。
- SonicBoom: マイクロフォンアレイによる接触位置推定触覚2024/12/1
ロボットのエンドエフェクタに取り付けた複数の接触マイクで音響信号を学習し、衝突位置を高精度に推定するシステムを開発した。
- 支援型ヘアケアロボティクスにおける包摂性：毛髪操作の実践的・倫理的考察支援ロボティクス2024/11/1
ヘアケア支援ロボットの開発において、髪型や髪質が個人のアイデンティティ表現に果たす役割を踏まえ、包摂的で倫理的な設計のための実践的・倫理的課題を整理・議論した論文。
- ソフトロボットハンドによる動的なペン回しの学習マニピュレーション2024/11/1
柔らかいロボットハンドでペンを回す動的タスクを、実世界データのみからの試行錯誤で学習するシステムSWIFTを提案し、異なるペンで100%の成功率を達成した。
- GRAPPA: オンラインエージェント誘導によるロボット政策の汎化と適応マニピュレーション2024/10/1
複数の役割特化型対話エージェントが協調し、基礎ロボット政策をオンラインで環境に接地させて行動分布を望ましい状態へ誘導することで、未知環境への汎化と適応を実現するフレームワークを提案。
- SEAL: スキル活用型敵対学習による閉ループシナリオ生成で安全な自動運転へ自動運転/シナリオ生成2024/9/1
自動運転の検証用に、人間らしい運転スキルと学習した目的関数を組み合わせて現実的かつ多様な敵対的シナリオを生成する手法SEALを提案し、既存手法より現実的なシナリオで自車の成功率を20%以上改善した。
- FIReStereo: 視界不良環境におけるUAS深度知覚のための森林赤外ステレオデータセットステレオ深度推定2024/9/1
煙・雨・夜間など視界が悪い環境でも使えるよう、熱赤外ステレオカメラとLiDAR・IMUで都市・森林を撮影した大規模データセットを構築し、代表的なステレオ深度推定手法を評価した。
- 道具を操る多指ロボットハンド設計のための基礎ポーズ選択メカニズムマニピュレーション2024/9/1
道具を操るための基礎ポーズ（FP）を仮説として、FPに到達できるハンドは道具を操れるとし、サンプリングベースの多目的最適化で多様なハンド設計を生成・評価した。
- RoPotter: 構造的事前知識を活用したロボットによる陶芸と変形可能物体の操作変形可能物体操作2024/8/1
陶芸ろくろ上の粘土を連続的に変形させる新タスクを提案し、粘土の断面投影とメッシュベースの隠れ状態復元により、長期的な陶芸作業を可能にするロボットシステムRoPotterを開発した。
- 消失点を活用した3Dセマンティック占有予測3D占有予測2024/8/1
消失点を用いて2D画像と3D空間のスケール不一致を補正し、カメラ画像から3Dセマンティック占有を高精度に予測する手法を提案。
- 軟体ロボットハンドの自動設計反復のための設計と制御の共最適化マニピュレーション2024/3/1
遺伝的アルゴリズムと方策転移を組み合わせ、約400の軟体ロボットハンド設計の制御方策を学習し、把持品質を評価して設計を最適化。実世界のテレオペレーションで検証し、シミュレーションの有効性を示した。
- 人間中心の建設ロボティクスに向けて：大工作業者を状況に応じて支援する強化学習駆動のコンパニオンロボット建設ロボティクス2024/3/1
建設現場の大工作業者に寄り添い、強化学習で状況に応じた支援を行う移動型コンパニオンロボットを提案し、型枠作業での実証を通じて安全性と作業の流れを高める協調モデルを示した。
- CoFRIDA：人間とロボットの共同描画のための自己教師ありファインチューニングsim2real2024/2/1
人間が描いたキャンバスにロボットが続きを描く共同描画フレームワークCoFRIDAを提案し、ロボットの制約を自己教師あり学習でテキスト画像モデルに組み込むことで、より正確な協調描画を実現した。
- POE: 全方向エンドエフェクタのための音響によるソフトロボット固有感覚ソフトロボティクス/固有感覚2024/1/1
腱駆動ソフトロボット表面に6つのマイクを埋め込み、音響信号から形状を推定する固有感覚システムPOE-Mを提案。キーポイント予測とエネルギー最小化によるメッシュ再構成を組み合わせ、従来手法より誤差を23%削減した。
- 言語と行動の橋渡し：言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方（状態評価・方策条件・認知計画・統合VLA）で分類し、最新手法と課題を整理したサーベイ。
- SafeShift: 自動運転における安全志向の分布シフトによる堅牢な軌道予測軌道予測2023/9/1
既存の実世界データセットから潜在的な安全クリティカルなシナリオを抽出し、軌道予測モデルを安全志向の分布シフト下で評価する枠組みを提案。予測衝突率を平均10%削減する改善策も示した。
- SoRTS: 長期的な社会的ロボットナビゲーションのための学習木探索ナビゲーション2023/9/1
社会的な動き予測モデルをモンテカルロ木探索で拡張し、混雑環境での長期的なロボットナビゲーションを実現する手法を提案。航空シミュレータでのユーザー研究で人間パイロットに匹敵する性能を示した。
- EigenTrajectory: 多モーダル軌道予測のための低ランク記述子軌道予測2023/7/1
歩行者の軌道を時空間主成分からなる低ランクなEigenTrajectory空間で表現し、既存の軌道予測モデルの精度と信頼性を向上させる手法を提案した。
- 対話を通じた人間型ソフトハンドの設計マニピュレーション2023/6/1
3Dプリントと遠隔操作を活用し、16自由度の人間型ソフトハンドを5回の設計反復で改良。30の実世界操作タスク中19を達成し、剛体ハンドのAllegro（7タスク）を上回った。
- 共有空域における長期的なソーシャルロボットナビゲーションのための学習木探索ソーシャルナビゲーション2023/4/1
ソーシャルロボットナビゲーションのためのモンテカルロ木探索プランナーSoRTSを提案し、高忠実度航空シミュレータX-PlaneROSを導入して、FAA認定パイロット26名の評価で有能な人間パイロットに匹敵する性能を示した。
- 身体性視覚言語計画の核心的課題VLA2023/4/1
視覚と言語を組み合わせて物理環境で行動する身体性視覚言語計画（EVLP）タスクを整理し、手法・評価指標・シミュレータ・データセットを比較するとともに、今後の研究が取り組むべき核心的課題を提示したサーベイ。
- RGB-Tセマンティックセグメンテーションのための相補的ランダムマスキングマルチモーダルセグメンテーション2023/3/1
RGBと熱画像の両方を用いたセマンティックセグメンテーションにおいて、片方のモダリティへの過度な依存を防ぐため、相補的ランダムマスキングと自己蒸留損失を提案し、3つのベンチマークで最高性能を達成した。
- 知識駆動型シーンプライアによる意味的音声視覚身体ナビゲーション音声視覚ナビゲーション2022/12/1
物体と領域の関係を表す知識グラフと二重グラフエンコーダネットワークを強化学習に組み込み、未知の室内シーンや未知の音源物体への汎化性能を向上させた音声視覚ナビゲーション手法を提案。
- 安全な自動運転のための分布認識型目標予測と適合モデルベース計画自動運転2022/12/1
自動運転の学習を認識・目標予測・計画に分解し、正規化フローで多様な目標分布を予測してモデルベース計画を行う手法を提案し、CARLAのCARNOVELベンチマークで最高性能を達成した。
- 有人機と無人機が共存する空域での近接安全・円滑運用の課題群制御2022/11/1
有人機と無人機が同じ空域で安全に協調運用するための統合システムを提案し、自然言語で相互に意思疎通しながら同じ滑走路に着陸するデモを示した。
- FRIDA: 微分可能なReal2Sim2Real計画環境を備えた協調型ロボット画家マニピュレーション2022/10/1
言語や画像の入力から人間と協調して絵を描くロボットシステムFRIDAを提案し、微分可能なReal2Sim2Realシミュレーションと、描画の進捗に応じて計画を継続的に再最適化する手法を開発した。
- T2FPV: 一人称視点の歩行者軌道予測における誤差補正のためのデータセットと手法歩行者軌道予測2022/9/1
実世界の俯瞰軌道データセットから一人称視点の歩行者軌道予測データセットを構築する手法を提案し、検出・追跡・遮蔽・視野制限による誤差を補正するモジュールCoFEを開発した。
- Social-PatteRNN: 動作パターンに基づく社会的軌道予測軌道予測2022/9/1
短期的な動作パターンを学習して長期的な軌道予測を導く再帰的マルチモーダル手法を提案し、群衆・スポーツ・航空管制の3領域で最先端性能を達成した。
- ルールに従え：確率的領域における誘導模倣学習のためのオンライン信号時相論理木探索模倣学習2022/9/1
信号時相論理（STL）のロバスト性をモンテカルロ木探索のヒューリスティックに組み込み、模倣学習ポリシーが時空間制約を満たすように誘導する手法を提案し、航空機の経路計画で有効性を示した。
- 乗り心地を考慮した視覚ナビゲーションのための自己教師あり学習ナビゲーション2022/7/1
一人称視点画像から車両の固有感覚信号を教師として走行困難度マップを自己教師あり学習し、乗り心地を考慮したナビゲーションを実現した。
- Learn-to-Raceチャレンジ2022：自動運転レースにおける安全な学習とクロスドメイン汎化のベンチマーク自動運転レース2022/5/1
自動運転レースの仮想チャレンジの結果を報告し、強化学習エージェントの安全性・性能・汎化能力を評価する新しいベンチマークを提案した。
- 非構造環境におけるUGV-UAV協調物体位置推定システム群制御2022/1/1
複数のUGVとUAVが協調し、マルチスペクトル・高解像度センサポッドと独自のハードウェア・ソフトウェア構成で、非構造環境においてリアルタイムに物体を検出・位置推定するシステムを開発し、実規模で実証した。
- 自律探査開発環境と計画アルゴリズム経路計画2021/10/1
自律ナビゲーションシステム開発のためのオープンソース環境と、探査用TARE・経路計画用FARの2つの高レベルプランナを公開し、DARPA地下チャレンジでの統合事例を紹介した論文。
- 自己視点カメラと近似到達可能性による安全な自動運転レース安全強化学習2021/10/1
ハミルトン・ヤコビ到達可能性理論を制約付き強化学習に組み込み、自己視点カメラ画像から安全を検証しながら高速に意思決定する自動運転レース手法を提案した。
- 動的可視性更新を用いた高速で試行可能な経路計画法経路計画2021/10/1
障害物周辺の点から多角形環境表現を構築し、二層構造で可視性グラフを動的に更新することで、未知環境でも高速に再計画できる経路計画フレームワークを提案した。
- パイロットのように予測する：非管制空港周辺における社会的状況を考慮した航空機軌道予測のデータセットと手法軌道予測2021/9/1
非管制空域での航空機の軌道予測のため、8ヶ月間・111日分のADS-Bと気象データを含むTrajAirデータセットを構築し、社会的相互作用を考慮した予測アルゴリズムTrajAirNetを提案した。
- 身体性視覚言語計画の核心的課題VLA2021/6/1
視覚と言語を統合してロボットが移動・操作を行うEVLPタスクを整理し、手法・評価指標・環境・データセットを比較したサーベイ。今後の課題と実世界展開への道筋を示す。
- 未知環境で動作するフィールド・サービスロボットのための言語理解言語指示2021/5/1
事前の地図がない未知の環境でも、自然言語の指示を『センサー』として空間・トポロジー・意味情報を推論し、ロボットが正しく解釈・実行できる学習フレームワークを提案した論文。
- 社会的ロボットナビゲーションの核心的課題：サーベイナビゲーション2021/3/1
混雑した公共空間でのロボットナビゲーションにおける残された課題を整理し、運動計画・行動設計・評価手法の観点から過去研究をレビューして今後の研究方向を示したサーベイ論文。
- ロボット絵画における芸術的スタイル：人間の筆致を学習する機械学習手法ロボット絵画2020/7/1
人間の画家から筆致と手の動きを収集し、画家のスタイルを再現する筆致を生成する生成モデルを訓練、ロボット絵画システムに統合する手法を提案した。
- 動きのパターンに着目：新しい畳み込み演算子を用いた時系列CNNによる人間軌道予測軌道予測2020/7/1
軌道データの時系列パターンを学習・検出するSocial-PECという畳み込み演算子を提案し、人間軌道予測で従来のプーリング層の曖昧さを解消しつつ最先端に匹敵する性能を示した論文。
- NaviGAN：社会的規範に沿ったナビゲーションのための生成的手法ソーシャルナビゲーション2020/7/1
人間の群衆中を移動するロボット向けに、快適さと自然さの両方を同時に最適化する敵対的学習ベースの経路生成アルゴリズムNaviGANを提案し、複数データセットと実機実験で有効性を示した。
- 社会的グループに追従する群衆内自律ナビゲーション群衆ナビゲーション2019/11/1
深層学習で社会的グループを追跡・合流し、衝突回避層と組み合わせて密集群衆(10m×20mに10人以上)を安全に目的地まで移動するナビゲーションシステムを提案した。
- 救助隊員のための説明可能なセマンティックマッピングセマンティックマッピング2019/10/1
災害後の環境で少量のラベル付きデータから意味分割・新物体検出・走行コストマップ生成を行う説明可能な深層学習ベースのセマンティックマッピング手法を提案した。
- ソーシャルアテンション：群衆内の注意をモデル化する軌道予測軌道予測2017/10/1
群衆中の各人物の重要度を距離によらず注意機構で学習し、ロボットのための人間軌道予測精度を向上させた研究。
- 密集した人混みにおける協調ナビゲーションのモデリング群衆ナビゲーション2017/5/1
群衆中の全エージェントの将来軌道の同時分布を、実人間の軌道データで学習した局所相互作用モデルにより予測する手法を提案し、長期予測で既存手法を上回ることを示した。
- 適応次元性を用いた動的環境での経路計画経路計画2016/5/1
衝突の可能性がある領域でのみ時間次元を考慮し、それ以外は低次元で計画することで、動的障害物下の経路計画を高速化する手法を提案。完全性と準最適性の保証付きで、3D車両ナビゲーションで有効性を示した。
