Edward Johns
収録論文 47本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ZeroBot:生成的Real2Simで数分でゼロから学習sim2real2026/9/27
単一視点画像から画像to3D生成モデルで物体メッシュを作り、シミュレーションで並列強化学習を行い、実機タスクを数分で学習するフレームワーク。
- 生成的なReal-to-Simによるロボットマニピュレーションのためのテスト時空間推論sim2real2026/9/27
単一のRGB-D画像から3D生成モデルと視覚言語モデルでシミュレーション可能なシーンを再構築し、数千の並列物理シミュレーションと進化的探索によって物体配置を最適化する、訓練不要のテスト時空間推論フレームワークを提案。
- 物理的インタラクションの学習:触覚・力覚を考慮したロボット学習のサーベイ触覚・力覚学習2026/8/1
触覚・力覚センシングを統合したロボット学習手法を、マルチモーダルかつ多段階のシステム設計の観点から統一的な分類学TF-ARTを用いて整理し、今後の研究課題を考察したサーベイ論文。
- Instant-Fold: 変形物操作のための文脈内模倣学習変形物操作/模倣学習2026/6/2
単一の人間デモから変形物の多様な操作モードを推論・実行する文脈内模倣学習フレームワークを提案し、シミュレーションのみで訓練し実世界へゼロショット転移する。
- SynthICL: 合成データによるスケーラブルな文脈内模倣学習模倣学習2026/6/1
RGBのみの合成データで文脈内模倣学習ポリシーを訓練し、実世界の未見タスクで高い成功率を達成した。
- Observer-Actor: スパースビューガウシアンスプラッティングを用いた能動視覚模倣学習模倣学習2025/11/1
腕の一方を観測役として最適視点に動かし、3Dガウシアンスプラッティングで遮蔽の少ない視点から他方の腕の模倣学習ポリシーを実行する枠組みを提案。
- 一日で千のタスクを学習する模倣学習2025/11/1
ロボットマニピュレーションの模倣学習において、軌道を整列と相互作用の段階に分解し、検索ベースの一般化を組み合わせることで、タスクあたり1回のデモンストレーションから学習し、24時間以内に1000の日常タスクを教示できる手法MT3を開発した。
- 想像の世界で学ぶ:3D生成モデルによる全方位ポリシー(OP-Gen)sim2real2025/9/1
3D生成モデルで単一の実演データを拡張し、実演とは反対側からでもタスクを遂行できる全方位ポリシーを学習する手法を提案。
- ワンショット両腕模倣学習模倣学習2025/3/1
1回の実演だけで両腕ロボットが精密で協調的な日常タスクを学習できるODILを提案し、3段階ビジュアルサーボと両腕協調パラダイムで実機6タスクを高精度に達成した。
- インスタントポリシー:グラフ拡散による文脈内模倣学習模倣学習2024/11/1
実演1〜2回から新しいタスクを即座に学習する文脈内模倣学習手法を提案し、グラフ表現と拡散モデルで実演・観測・行動を構造的に推論する。
- MILES: 自己教師あり学習で模倣学習を簡単に模倣学習2024/10/1
単一の実演と環境リセット1回だけで、自己教師ありデータ収集により効率的に方策を学習する手法を提案し、鍵を使った接触の多い操作を含む実世界タスクで既存手法を上回ることを示した。
- 新しい把持へのスキル適応:自己教師あり学習によるアプローチマニピュレーション2024/8/1
把持した物体の操作軌道を、自己教師あり学習のみで新しい把持姿勢に適応させる手法を提案。RGB画像のみで従来手法より28.5%高い成功率を実現。
- R+X: 日常の人間動画からの検索と実行VLA2024/7/1
ラベルなしの一人称視点人間動画から言語指示に応じて関連クリップを検索し、文脈内模倣学習でロボットが即座にスキルを実行できるフレームワーク。
- キーポイント行動トークンによるロボットの文脈内模倣学習模倣学習2024/3/1
視覚観察と行動軌跡をトークン列に変換し、言語学習済みTransformer(GPT-4 Turbo)を追加学習なしで使って少数の実演から模倣学習を実現する手法を提案。
- DINOBot: 視覚基盤モデルを用いた検索と位置合わせによるロボットマニピュレーションマニピュレーション2024/2/1
DINOで学習したVision Transformerの特徴量を使い、似た物体をデモから検索してエンドエフェクタを位置合わせすることで、新しい物体への汎化性能を高めた模倣学習フレームワーク。
- Dream2Real: 視覚言語モデルによるゼロショット3D物体再配置マニピュレーション2023/12/1
ロボットがシーンの3D表現を構築し、仮想的に物体を再配置してその画像を視覚言語モデルで評価することで、訓練データなしに言語指示に沿った物体の再配置を実現するフレームワーク。
- 言語と行動の橋渡し:言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方(状態評価・方策条件・認知計画・統合VLA)で分類し、最新手法と課題を整理したサーベイ。
- マニピュレーションにおける検索・位置合わせ・再生の有効性マニピュレーション2023/12/1
模倣学習を「何ができるか」「どこで操作するか」「どう操作するか」の3段階に分解し、実世界タスクで学習効率と汎化性能が大幅に向上することを示した。
- SceneScore: 物体配置のためのコスト関数学習物体配置2023/11/1
画像のみから物体配置の望ましさを評価するコスト関数をエネルギーベースモデルとグラフニューラルネットで学習し、欠損物体の姿勢予測や新規物体への汎化、制約付き配置生成を可能にした。
- ワンショット模倣学習:姿勢推定の観点から模倣学習2023/10/1
単一の実演のみで、追加データ収集や事前知識なしに模倣学習を行うため、軌道転移と未知物体の姿勢推定を組み合わせる手法を検討し、実世界10タスクで姿勢推定器の性能や誤差要因を分析した。
- 暗黙的グラフアライメントによる少数ショット・インコンテキスト模倣学習模倣学習2023/10/1
物体をグラフ表現に変換し、その条件付きアライメントとして模倣学習を定式化することで、未知の物体に対するタスクを少数の実演からその場で学習できる手法を提案した。
- 言語モデルをゼロショット軌道生成器として使うVLA2023/10/1
GPT-4が物体検出とセグメンテーションだけを頼りに、マニピュレーションタスクのエンドエフェクタ軌道を直接予測できるかを30の実世界タスクで検証した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 触覚ベース学習におけるリアルギャップの克服触覚2023/5/1
圧力センサアレイを質量-バネ-ダンパ系でモデル化し、ドメインランダム化と潜在空間での特徴整合により、触覚を用いたマニピュレーション方策のsim-to-real転移を実現した。
- どこから始める?複雑環境への単純スキルの転移sim2real2022/12/1
環境のグラフ表現に基づくアフォーダンスモデルを導入し、配置時に最適化することで、事前に獲得した把持・配置スキルを未見の雑然とした制約環境へ衝突なく転移できるようにした。
- 自律ロボットによる物理シーン特性のリアルタイムマッピングシーン理解2022/10/1
ロボットが自ら実験的な相互作用を行い、RGB-Dカメラでスキャンしながらシーンの硬さや材質などの物理特性を高効率で密にマッピングする手法を提案。
- DALL-E-Bot: ウェブスケール拡散モデルをロボティクスへ導入マニピュレーション2022/10/1
DALL-Eを使って物体の自然な配置画像を生成し、その画像に従ってロボットが物体を片付けるゼロショット手法を提案。
- 一度の実演で即座に模倣:視覚サーボによるワンショット模倣学習ワンショット模倣学習2022/4/1
1回の実演からタスクを学習し、追加データなしで即座に実行できるワンショット模倣学習手法DOMEを提案。物体セグメンテーションと視覚サーボで実演時と同じ相対姿勢に移動し、実演の速度を再生してタスクを完了する。
- 我が家のルール:グラフニューラルネットワークで片付けの好みを学習する配置計画2021/11/1
ユーザーの片付け方の例からグラフニューラルネットワークを用いたVAEで好みの潜在ベクトルを抽出し、その人好みの配置を生成する手法NeatNetを提案した論文。
- 単一画像からアイ・イン・ハンドカメラのキャリブレーションを学習するキャリブレーション2021/11/1
合成データのみで学習したモデルを用い、1枚のRGB画像からアイ・イン・ハンドカメラの外部パラメータをオンライン推定する3手法(直接回帰・疎対応・密対応)を比較し、直接回帰が古典手法を含め最も優れることを示した。
- 自己リプレイによる1回の実演からの多段階タスク学習模倣学習2021/11/1
1回の人間の実演から、物体知識なしに多段階の日常タスクを模倣学習する手法を提案。対象物体へ到達して実演を再生するサイクルを繰り返し、自律的に学習データを収集する。
- 模倣学習を現実へ引き戻す:ロボット学習の評価指標再考模倣学習2021/11/1
ロボット学習の評価が機械学習由来のデータ効率偏重になっていると指摘し、人間の実コストを反映する時間効率を指標にすべきと提言する論文。
- ハイブリッドICP:データ対応付けと誤差指標を動的に最適化するICP物体姿勢推定2021/9/1
物体の画像と現在の推定値に基づいてデータ対応付け手法と誤差指標を動的に切り替えるICPの新手法を提案し、物体姿勢推定の精度とノイズ頑健性の向上を示した。
- 粗から細への模倣学習:単一実演によるロボットマニピュレーション模倣学習2021/5/1
単一の人間実演から未知物体の操作を学ぶ視覚模倣学習手法を提案し、操作を粗い接近軌道と細かい相互作用軌道に分け、自己教師ありで状態推定器を訓練して実演の速度を再生する。
- 粗から細へのsim-to-real:広いタスク空間でのサブミリ精度sim2real2021/5/1
古典的な運動計画と学習ベースのEnd-to-End制御を組み合わせた粗から細への制御フレームワークを提案し、広いタスク空間でサブミリ精度のゼロショットsim-to-realを実現した。
- 単発の人間デモンストレーションで現実ギャップを最小化するDROIDsim2real2021/2/1
単発の人間デモンストレーションからシミュレータの動力学パラメータ分布を同定し、ドメインランダム化の範囲を最適化することで、扉開けタスクの実機へのポリシー転移を改善した研究。
- SAFARI: 想像を活用した安全で能動的なロボット模倣学習模倣学習2020/11/1
分布外状況で人間に追加の実演を要求する能動学習と、モデルベース計画で状態分布シフトを抑える模倣学習手法を提案し、マニピュレーションタスクでの性能向上と失敗の早期安全予測を示した。
- 視覚的sim2real転移におけるドメインランダム化のベンチマークsim2real2020/11/1
物体姿勢推定タスクでドメインランダム化の設計選択を実機評価し、高品質画像を少数使う方が低品質画像を大量に使うより優れ、妨害物体とテクスチャの両方が未知環境への汎化に重要と示した。
- ギャップを越えて:動力学におけるゼロショットsim-to-real転送の深掘りsim2real2020/8/1
複雑な動力学タスクのゼロショットsim-to-real転送を実世界で客観評価し、単純なランダム力注入が複雑な手法と同等の性能を持つことを示した。
- 推定手姿勢と残差強化学習による物理ベースの巧みな操作巧みな操作2020/8/1
深度センサと手姿勢推定器から得たノイズを含む手姿勢を物理シミュレータ上で補正し、残差強化学習と模倣学習のハイブリッドで巧みな物体操作を実現する手法を提案した論文。
- 光学式触覚センサのシミュレーションから実機への転移触覚2020/4/1
TacTip光学触覚センサの柔軟体シミュレーションをUnityで構築し、ドメインランダム化により実機データなしで実世界のエッジ位置・角度を1mm未満の誤差で予測できることを示した。
- 制約空間最適化と強化学習による複雑タスクの学習強化学習2020/4/1
人間のデモンストレーションから制約空間内での強化学習を行い、ロボットの縫合タスクで専門家のデモより滑らかで高速な動作を実現した。
- シミュレーションから実世界への多段階タスクのためのEnd-to-End視覚運動制御の転移sim2real2017/7/1
シミュレータで生成した軌道とドメインランダム化を用いてCNNを訓練し、実画像なしで実世界の多段階片付けタスク(キューブの把持とバスケットへの投入)をEnd-to-Endで実行できることを示した。
- ステレオ画像ペアの自己教師付きシャム学習によるロボット手術の奥行き推定奥行き推定2017/5/1
術中ステレオ画像ペアから正解奥行きなしで学習する自己教師付き深層学習フレームワークを提案し、ロボット部分腎摘出術の映像で検証した。
- 深層Q学習によるロボットアーム制御のための3Dシミュレーションsim2real2016/9/1
3Dシミュレーション内で7自由度ロボットアームを深層Q学習により訓練し、画像入力からキューブの位置特定と把持を学習。実機への直接転移の予備結果も示した。
- グリッパ姿勢の不確かさに頑健な把持関数の深層学習マニピュレーション2016/8/1
深度画像から全ての把持姿勢にスコアを付ける把持関数をCNNで学習し、姿勢の不確かさで平滑化することで不確かさに頑健な把持を実現した。
- 画像系列のペアワイズ分解による能動的マルチビュー認識マルチビュー認識2016/5/1
画像系列を画像ペアに分解して各ペアをCNNで分類し、その重み付き統合で物体認識を行う手法を提案。さらに次視点予測CNNと組み合わせ、軌道最適化による能動的認識を実現した。
