Jonathan Francis
Carnegie Mellon University
収録論文 45本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- EgoX: 身体性ドリーミングによる一人称視点のクロスエンボディメントマニピュレーションクロスエンボディメント2026/11/12
人間・実ロボット・シミュレーションの異種デモを意味的に対応付けて統合し、身体性を超えて汎化する操作ポリシーを学習するフレームワークを提案。
- REMM: マニピュレーションのための修正可能な身体性メモリマニピュレーション2026/10/8
凍結した視覚-言語-行動実行器の上に、追記型の証拠履歴と修正可能なタスク状態を分離した監督メモリ層を導入し、物理的証拠に基づかない結論を撤回して回復を計画することで、長期的なマニピュレーションの成功率を向上させた。
- SkillWeave: 異種デモンストレーションを長期的器用マニピュレーションスキルへ織り上げるマニピュレーション2026/10/8
遠隔操作とキネステティック教示を組み合わせ、物体マスク条件付き拡散方策と後継者対応ターミナルステアリングにより、長期的な器用マニピュレーションを実現するフレームワークを提案。
- GTA-2: 接地されたタスク軸によるロボットマニピュレーションスキル合成のためのマルチVLMフレームワークマニピュレーション2026/9/9
4つのVLMエージェントがタスクを分解し、キーポイントや軸・制御パラメータを接地させて、実機ロボットのマニピュレーションスキルをゼロショットで生成するフレームワーク。
- ControlledShifts: 分布シフト下での軌道予測におけるロバスト性評価の標準化に向けて軌道予測2026/8/18
軌道予測モデルの分布シフトに対するロバスト性を標準化して評価するフレームワークとベンチマークスイートを提案し、既存データセットを系統的に再分割して複数のシフトを生成し、統一的なロバスト性スコアでモデルを評価する。
- シナリオ特性化:軌跡データセット全体の安全性評価のためのモジュール型ツールキット自動運転/データセット分析2026/8/17
運転シナリオの軌跡データセットを自動的に分析・特性化するオープンソースのフレームワークを提案し、データセットに依存しないモジュール構成で安全性評価を可能にする。
- GaP: 変動的オートメーションタスクのためのグラフとしてのポリシーを用いたマルチエージェント自己学習ハーネスタスク計画2026/7/1
ロボットの信頼性を高めるため、エージェント型コーディングと解釈可能なロボットプログラミングを組み合わせ、タスクをグラフ構造で表現して自己学習する手法を提案した。
- VibeAct: 振動から行動へ - 接触の多い反応的ロボット器用操作のための手法器用操作2026/6/1
圧電マイクで取得した実振動信号を、シミュレーションで共有可能な接触・滑り表現に変換し、実世界とシミュレーションのギャップを埋めることで、器用なロボットハンドのポリシー学習を可能にするフレームワークを提案した。
- 回復・発見・計画:ロボットの失敗からスキルと概念を学習する強化学習/計画2026/6/1
ロボットが失敗から回復するだけでなく、将来の失敗を避けるための抽象的な知識を獲得する手法を提案。強化学習で回復スキルを学び、その経験から関係述語を発見して抽象計画に活用する。
- RIO: クロスエンボディメントロボット学習のための柔軟なリアルタイムロボットI/Oロボット学習基盤2026/5/1
多様なロボットハードウェアと形態に対応した、柔軟で軽量なロボット制御・遠隔操作・データ整形・センサ設定・ポリシー展開のためのオープンソースPythonフレームワークを提案し、VLAモデルの展開と微調整を実証した。
- 触覚ドリーミングによる多用途ヒューマノイド操作の学習ヒューマノイド操作2026/4/1
ヒューマノイドの全身操作を安定させるRLベースの下半身制御とVRデータ収集システムを開発し、触覚を主要モダリティとして扱うマルチモーダルトランスフォーマーHTDを提案。触覚の潜在予測により接触認識表現を学習し、実世界の接触豊富なタスクで成功率を大幅に向上させた。
- SOFTMAP: トポロジカルメッシュ整列と物理事前知識によるソフトロボットのSim2Real順モデリングソフトロボティクス/sim2real2026/3/1
腱駆動ソフトフィンガーの3次元順モデルを、シミュレーションと実データを組み合わせて高精度に学習するフレームワークを提案。
- APEX:ヒューマノイドロボットのための適応的高プラットフォーム踏破学習歩行2026/2/1
深層強化学習を用いて、脚長を超える高さのプラットフォームを登攀・歩行・這行・立ち上がり・伏せの6スキルを統合した単一ポリシーで自律的に踏破するシステムを開発し、Unitree G1で実機ゼロショット転移を実現した。
- LightTact:変形に依存しない接触センシングを実現する視覚触覚指先センサ触覚2025/12/1
接触時に生じる散乱光のみを捉える光学構成により、変形を伴わない軽微な接触を高コントラストで可視化する視覚触覚センサを開発し、水やクリームなどへの接触を要するロボット操作を実現した。
- LongComp: ロバストな軌道予測のためのロングテール合成ゼロショット汎化軌道予測2025/11/1
自動運転の軌道予測において、安全上重要な稀なシナリオへの汎化を評価する新たなロングテール設定を提案し、タスクモジュラーゲーティングと難易度予測ヘッドでOOD性能ギャップを削減した。
- DYMO-Hair: ロボットによる髪の毛操作のための汎化可能な体積動力学モデリングマニピュレーション2025/10/1
髪の毛の複雑な動力学を学習し、モデル予測制御を用いてロボットが目標の髪型にスタイリングするシステムを提案。シミュレーションと実機で未知の髪型にも汎化することを示した。
- 視覚音響融合による手姿勢と接触推定触覚2025/8/1
骨伝導スピーカーと圧電マイクを手に装着し、音響信号とRGB-D画像をグラフ注意ネットワークで統合することで、遮蔽や静的な接触時でも高精度に手の姿勢と接触を推定するウェアラブルシステムを提案。
- 実世界の衝突データに基づく自動運転向け安全臨界シナリオ生成自動運転シナリオ生成2025/7/1
実世界の衝突データから危険な運転行動の埋め込み表現を学習し、それを敵対的シナリオ生成に組み込むことで、より現実的で高リスクな安全臨界シナリオを生成する手法を提案した。
- Human2LocoMan: 人間データの事前学習による多様な四足歩行ロボットのマニピュレーション学習マニピュレーション2025/6/1
人間と四足ロボットLocoManのデータを統合した遠隔操作・データ収集パイプラインとモジュール型アーキテクチャを構築し、人間データでの事前学習により実世界タスクの成功率を大幅に向上させた。
- STRIVE: VLM推論を統合した構造的表現による効率的物体ナビゲーション物体ナビゲーション2025/5/1
VLMを物体ナビゲーションに活用するため、環境を視点・物体・部屋の階層で表現し、VLM推論による高レベル計画と低レベル探索を組み合わせる二段階方策を提案。シミュレーションと実機で成功率と効率を向上させた。
- KineSoft:ソフトロボットハンドの固有感覚マニピュレーション方策の学習ソフトロボティクス/模倣学習2025/3/1
ソフトロボットハンドの自然な柔軟性を活かし、内部ひずみセンサで形状を推定しながら、人間が直接教示できる模倣学習フレームワークを提案。
- 学習された制約は実は後方到達可能チューブである安全制御2025/1/1
逆制約学習(ICL)が理論的・実践的に何を復元するかを解析し、失敗集合ではなく失敗が不可避な状態集合(後方到達可能チューブ)を復元することを示した論文。
- GraphEQA: 3Dセマンティックシーングラフを用いたリアルタイム身体性質問応答VLA2024/12/1
未知環境での身体性質問応答のため、リアルタイム3Dメトリックセマンティックシーングラフとタスク関連画像をマルチモーダルメモリとしてVLMに接地し、階層的計画で探索・回答する手法を提案。シミュレーションと実環境で成功率向上と計画ステップ削減を示した。
- STRAP: 拡張方策学習のためのロボットサブ軌道検索模倣学習2024/12/1
大規模なロボットデータからサブ軌道単位で関連データを検索し、テスト時に方策を適応的に学習する手法を提案。
- 共有・動的環境向けマルチモーダル3Dシーングラフ更新器シーングラフ2024/11/1
人間・ロボット知覚・時間・行動などのマルチモーダル入力を使い、動的環境で3Dシーングラフをリアルタイムに更新する枠組みを提案した。
- 3Dガウシアンスプラッティングを用いたデモンストレーションにおける物体と接触点の追跡模倣学習2024/11/1
動画デモから接触点と物体の動きを抽出し、3DガウシアンスプラッティングとFoundationPoseで追跡することで、対話型模倣学習を強化する手法を提案した。
- GRAPPA: オンラインエージェント誘導によるロボット政策の汎化と適応マニピュレーション2024/10/1
複数の役割特化型対話エージェントが協調し、基礎ロボット政策をオンラインで環境に接地させて行動分布を望ましい状態へ誘導することで、未知環境への汎化と適応を実現するフレームワークを提案。
- SEAL: スキル活用型敵対学習による閉ループシナリオ生成で安全な自動運転へ自動運転/シナリオ生成2024/9/1
自動運転の検証用に、人間らしい運転スキルと学習した目的関数を組み合わせて現実的かつ多様な敵対的シナリオを生成する手法SEALを提案し、既存手法より現実的なシナリオで自車の成功率を20%以上改善した。
- RoPotter: 構造的事前知識を活用したロボットによる陶芸と変形可能物体の操作変形可能物体操作2024/8/1
陶芸ろくろ上の粘土を連続的に変形させる新タスクを提案し、粘土の断面投影とメッシュベースの隠れ状態復元により、長期的な陶芸作業を可能にするロボットシステムRoPotterを開発した。
- 家庭内でのオープンワールド移動マニピュレーションに向けて:NeurIPS 2023 HomeRobotオープン語彙移動マニピュレーションチャレンジからの教訓移動マニピュレーション2024/7/1
家庭環境で任意の物体を見つけて任意の場所に置くオープン語彙移動マニピュレーションのベンチマークを提案し、NeurIPS 2023コンペを実施。シミュレーションと実世界で評価し、成功チームに共通するエラー検出・回復と知覚・意思決定の統合の重要性を示した。
- シーングラフを用いた交通事故事象理解のための視覚言語モデル強化VLA2024/7/1
交通事故の種類を分類するため、映像をシーングラフに変換し、視覚・言語情報と融合するマルチモーダル手法を提案。DoTAベンチマークでシーングラフなしより約5ポイント高い精度を達成した。
- CaDRE: 実世界軌跡を用いた安全臨界運転シナリオの制御可能で多様な生成自動運転シミュレーション2024/3/1
実世界の走行データとブラックボックス最適化を組み合わせ、自動運転の安全性評価に必要な多様で制御可能な危険シナリオを効率的に生成するフレームワークを提案した。
- 基盤モデルによる汎用ロボットの実現に向けて:サーベイとメタ分析基盤モデル2023/12/1
NLPやCVの基盤モデルをロボットに応用する研究と、ロボット専用の基盤モデルの可能性を整理したサーベイ論文。
- SafeShift: 自動運転における安全志向の分布シフトによる堅牢な軌道予測軌道予測2023/9/1
既存の実世界データセットから潜在的な安全クリティカルなシナリオを抽出し、軌道予測モデルを安全志向の分布シフト下で評価する枠組みを提案。予測衝突率を平均10%削減する改善策も示した。
- MOSAIC: 対話的知覚によるロボット学習のための統合マルチセンサ物体特性表現の学習マルチモーダル知覚2023/9/1
視覚・触覚・聴覚の基盤モデルを蒸留・整合させ、ロボットが物体特性を統合的に理解する枠組みを提案。物体分類と物体把持タスクで有効性を示した。
- 何が間違っていたのか?微分可能な因果発見によるSim-to-Realギャップの解消sim2real2023/6/1
シミュレータと実世界のロボット軌道の差を、環境パラメータとの因果関係を同時に学習する微分可能なマッピングでモデル化し、パラメータ調整を自動化してsim-to-realギャップを縮小する手法COMPASSを提案。
- 身体性視覚言語計画の核心的課題VLA2023/4/1
視覚と言語を組み合わせて物理環境で行動する身体性視覚言語計画(EVLP)タスクを整理し、手法・評価指標・シミュレータ・データセットを比較するとともに、今後の研究が取り組むべき核心的課題を提示したサーベイ。
- 道具と行動を超えた知覚的知識転移による物体認識触覚2023/3/1
複数の道具や行動で得た触覚・音響などの非視覚情報を共有潜在空間で学習し、未経験の道具や行動でも物体を認識できるフレームワークを提案した。
- 知識駆動型シーンプライアによる意味的音声視覚身体ナビゲーション音声視覚ナビゲーション2022/12/1
物体と領域の関係を表す知識グラフと二重グラフエンコーダネットワークを強化学習に組み込み、未知の室内シーンや未知の音源物体への汎化性能を向上させた音声視覚ナビゲーション手法を提案。
- 安全な自動運転のための分布認識型目標予測と適合モデルベース計画自動運転2022/12/1
自動運転の学習を認識・目標予測・計画に分解し、正規化フローで多様な目標分布を予測してモデルベース計画を行う手法を提案し、CARLAのCARNOVELベンチマークで最高性能を達成した。
- 異種ロボット形態間での非視覚的物体特性の暗黙知の転移マルチモーダル認識2022/9/1
触覚や聴覚など非視覚モダリティで得た物体特性の暗黙知を、形態の異なるロボット間で転移する多段射影フレームワークを提案し、物体特性・同一性認識タスクで有効性を示した。
- Learn-to-Raceチャレンジ2022:自動運転レースにおける安全な学習とクロスドメイン汎化のベンチマーク自動運転レース2022/5/1
自動運転レースの仮想チャレンジの結果を報告し、強化学習エージェントの安全性・性能・汎化能力を評価する新しいベンチマークを提案した。
- 自己視点カメラと近似到達可能性による安全な自動運転レース安全強化学習2021/10/1
ハミルトン・ヤコビ到達可能性理論を制約付き強化学習に組み込み、自己視点カメラ画像から安全を検証しながら高速に意思決定する自動運転レース手法を提案した。
- 身体性視覚言語計画の核心的課題VLA2021/6/1
視覚と言語を統合してロボットが移動・操作を行うEVLPタスクを整理し、手法・評価指標・環境・データセットを比較したサーベイ。今後の課題と実世界展開への道筋を示す。
- Learn-to-Race:自動運転レースのためのマルチモーダル制御環境自動運転レース/sim2real2021/3/1
高速レース向けの車両ダイナミクスとマルチモーダルセンサを備えた新しいシミュレータ「Arrival」と学習フレームワークを公開し、専門家デモを含むベンチマークを提供した論文。
