Jitendra Malik
UC Berkeley
収録論文 118本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ソーシャルヒューマノイド：人間と協調する全身動作生成システムヒューマノイド/協調動作2026/11/5
人間の動きに反応して29自由度ヒューマノイドが全身動作を生成・実行する階層システムを提案し、人間とヒューマノイドの協調動作ベンチマークを構築した。
- 接触アンカード・リターゲティングによる巧みな操作リターゲティング2026/10/27
人間のデモを接触力目標ごとロボット動作に変換するフレームワークCARDを提案し、映像・モーションキャプチャ・触覚グローブを統合して接触維持率とタスク成功率を大幅に向上させた。
- 教師あり遊びによる器用さの獲得マニピュレーション2026/10/15
人間の短時間の遊びから行動クローニングで遊び方策を学習し、自律的にデータを収集して世界モデルを訓練、モデル予測制御と自己遊びによる方策蒸留で器用な操作を実現した。
- 力変調巧緻性：接触の多い操作のための統一的コンプライアンスマニピュレーション2026/10/12
接触を伴う巧緻な操作において、動作と接触力を統一的に扱うコンプライアンス制御手法FOMO-Dexを提案し、カードピッキングや紙切り、ネジ締め、ナット・ボルト組立で過剰な接触力を低減し、教示データの質と方策学習の成功率を向上させた。
- EyeRobot 2.0：手首カメラなしで精密操作を可能にする能動的視線制御マニピュレーション2026/10/2
単一のステレオカメラのみで、人間の視覚のように視線を能動的に動かして注視点を定め、両手の精密操作を実現するフレームワークを提案。実世界とシミュレーションで評価し、手首カメラなしでも高性能を示した。
- 反実仮想動画生成によるスケーラブルなヒューマノイドの移動操作移動操作2026/9/29
少数の実動画から反実仮想の人間-物体インタラクション動画を大量生成し、実→シミュ→実のパイプラインで物理的に妥当な軌道に変換して、多様な物体の運搬を実機で実現する方策を学習した。
- 形態模倣：形態と接触を考慮したハンドリターゲティングからSim-to-Real視覚運動ポリシーへsim2real2026/9/23
人間の手と物体の相互作用を、形態最適化・残差強化学習・視覚運動ポリシー蒸留の3段階でロボットハンドに転移し、ゼロショットで実世界に展開するフレームワークを提案。
- オープンボキャブラリなシーン地図構築のためのシーン言語モデルシーン理解2026/9/18
シーン全体を構造化テキストの物体リストとして保持し、画像入力ごとに追加・編集・削除で地図を更新するSceneLMを提案。専用モジュール構成の従来手法と同等性能を6〜12倍コンパクトな表現で実現し、四足歩行ロボット上でのオンライン動作も示した。
- 物理的インタラクションの学習：触覚・力覚を考慮したロボット学習のサーベイ触覚・力覚学習2026/8/1
触覚・力覚センシングを統合したロボット学習手法を、マルチモーダルかつ多段階のシステム設計の観点から統一的な分類学TF-ARTを用いて整理し、今後の研究課題を考察したサーベイ論文。
- 私の真似をして：日常の人間ビデオからの器用な操作データ器用操作/データ生成2026/6/17
単眼RGBの人間ビデオから手と物体のインタラクションを再構築し、多指ロボットハンドの実行可能な操作軌道へとリターゲティングするアルゴリズムを提案した。
- 視覚運動制御のための対比的行動-画像事前学習視覚エンコーダ/事前学習/模倣学習2026/6/15
大規模な人間の第一人称ビデオから手のキーポイントを行動の代理として抽出し、対比学習でロボットの視覚エンコーダを事前学習する手法を提案。実機の器用操作タスクで既存手法を30%以上上回る性能を達成した。
- ForceBand: sEMGを用いた力強い操作の学習マニピュレーション2026/6/1
筋電位センサを搭載したリストバンドで人間の指先の力を推定し、力情報を含むデモンストレーションを生成してロボットの力制御を学習する手法を提案した。
- T-Rex: 触覚反応型巧みな操作触覚/操作2026/6/1
触覚信号に動的に反応する操作を実現するため、大規模な触覚データセットと可変レートのMixture-of-Transformersアーキテクチャを導入し、12の操作タスクで成功率を大幅に向上させた。
- オープンデータ・訓練・評価によるスケーラブルな行動クローニング行動クローニング2026/6/1
大規模な遠隔操作データセットABC-130K（3500時間、13万エピソード）とオープンソースのハードウェア・訓練・シミュレーション基盤を公開し、行動クローニングの再現可能な研究基盤を提供した。
- FARM: 関係空間記憶を用いた任意物体の発見物体検索/空間記憶/VLM2026/6/1
ロボットが「ダーツボードの下の背の高いランプ」のような関係的な指示で物体を見つけられるよう、実時間で物体レベルの空間記憶を構築し、VLMでクエリを解析して検索するシステムを提案した。
- ロボット学習のためのワールドモデル：包括的サーベイサーベイ2026/5/1
ロボット学習におけるワールドモデルの役割と進化を体系的にレビューし、ポリシー学習、シミュレーション、評価への応用や課題を整理したサーベイ論文。
- MonoDuo: 1本のロボットアームで両腕ポリシーを学習するマニピュレーション2026/5/1
単腕ロボットのデモと人間の協調動作から、両腕ロボットの操作ポリシーを学習するフレームワークを提案。合成デモにより未見の両腕ロボット構成へのゼロショット転移を実現した。
- バイナリを超えて：物理に基づく接触表現によるシミュレーションから実世界への巧みな操作触覚/シミュレーション転移2026/5/1
触覚データを物理原理に基づく圧力中心（CoP）表現に変換し、シミュレーションから実世界へのゼロショット転移を可能にする手法を提案。多指ハンドでのピン穴挿入とボールバランス課題で有効性を実証した。
- D-REX: 巧みな把持学習のための微分可能な実世界-シミュレーション-実世界エンジン把持/シミュレーション2026/3/1
ガウススプラット表現を用いた微分可能エンジンを構築し、実世界の視覚観測とロボット制御信号から物体質量を同定しつつ、把持ポリシーを同時学習する手法を提案。
- ナイフで皮をむく方法：細粒度操作と人間の好みの整合マニピュレーション2026/3/1
ナイフでの皮むきを例に、力覚を考慮した模倣学習と人間の好みに基づく報酬モデルで、連続的で主観的な成功基準を持つ操作タスクを学習する枠組みを提案した。
- PTLD: 触覚潜在一貫性蒸留によるシミュレーションから実世界への巧みな操作触覚/操作/sim2real2026/3/1
触覚センサのシミュレーションを必要とせず、実世界の特権センサから収集したデータを用いて触覚入力に基づく状態推定器を蒸留し、シミュレーションで訓練した操作ポリシーを向上させる手法を提案した。
- TactAlign: 触覚アライメントによる人間からロボットへのポリシー転送触覚2026/2/1
触覚グローブで収集した人間の触覚信号を、異なる身体を持つロボットに転送するクロスエンボディメント触覚アライメント手法を提案。ペアデータ不要で、接触の多いタスクでのポリシー転送性能を向上させる。
- DreamDojo: 大規模人間動画から学ぶ汎用ロボット世界モデル世界モデル2026/2/1
44,000時間の一人称視点人間動画から汎用的なロボット世界モデルを学習し、連続潜在行動を代理ラベルとして活用することで、巧みな操作の物理理解と精密な行動制御を実現した研究。
- 大規模動画プランナーによる汎用ロボット制御VLA2025/12/1
インターネット規模の人間活動動画で生成的なロボット計画モデルを基盤モデル規模で学習し、新しい場面やタスクに対してゼロショットで動画計画を生成して実機の行動に変換する手法を提案した。
- OSMO: 人間からロボットへの技能転移のためのオープンソース触覚グローブ触覚2025/12/1
人間とロボットの両方が同じ触覚グローブを装着し、人間の触覚データから直接ロボット政策を学習することで、接触を伴う拭き取り作業を72%の成功率で実現した。
- 不完全なシミュレーションから器用な操作スキルを学習するsim2real2025/12/1
シミュレーションで学習した方策をテレオペレーションのスキルプリミティブとして使い実世界の触覚・固有感覚データを収集し、触覚入りの行動クローニングでナット締めやネジ回しを実現するsim-to-realフレームワークを提案。
- 生成された人間動画から物理的に妥当なロボット軌道へヒューマノイド2025/12/1
生成動画から人間の動きを4D表現に変換し、強化学習方策GenMimicでヒューマノイドの物理的に安定した動作として再現する手法を提案。
- 選択ポリシーによる協調型ヒューマノイドマニピュレーションマニピュレーション2025/12/1
モジュール式遠隔操作で収集したデータを用い、複数の候補行動を生成・評価する模倣学習「Choice Policy」でヒューマノイドの全身協調マニピュレーションを実現した。
- マルチエージェント相互作用のための拡散強制シーケンスモデリング動作生成2025/12/1
複数人の動作生成を単一の自己回帰拡散モデルで統一的に扱い、ペア・多人数の予測や長期生成を可能にした研究。
- DIPOLE: 視覚と幾何を融合したロバストな視覚運動汎化VLA2025/11/1
視覚と言語・幾何の相補的なモダリティを訓練時のドロップアウトとクロスアテンションで融合し、照明や視点変化に強い拡散ポリシーを実現した。
- スマートレンズから器用さを獲得：日常環境での人間デモによる多指ロボットマニピュレーションマニピュレーション2025/11/1
Aria Gen 2グラスで日常環境の人間の手の動きを収集し、ロボットデータなしで多指ハンドの3D点ベース方策を学習するフレームワークAINAを提案。
- SPIDER: スケーラブルな物理情報に基づく巧みなリターゲティングリターゲティング2025/11/1
人間の運動データを物理シミュレーションでロボットの動的に実行可能な軌道に変換し、大規模な巧みな操作ポリシー学習を可能にするフレームワークを提案。
- ランダムなおもちゃで遊んで何でも掴めるようになる学習マニピュレーション2025/10/1
球・直方体・円柱・リングの4つの基本形状をランダムに組み合わせた「おもちゃ」で訓練することで、実世界の多様な物体をゼロショットで掴める汎化可能な把持方策を実現した研究。
- エンドツーエンド強化学習による器用な把持政策の改善マニピュレーション2025/9/1
シミュレータと強化学習を別々のGPUに分散する手法を提案し、視覚ベースのエンドツーエンド学習を効率化して、深度を用いた器用な把持政策を訓練・蒸留した。
- 人間の運動予測モデルを模倣した深層感覚運動制御感覚運動制御2025/8/1
人間の運動予測モデルをロボットの感覚運動ポリシー訓練に活用し、強化学習でタスクを達成する手法を提案。人間とロボットのキーポイント運動の類似性を利用し、ゼロショットで予測モデルを適用する。
- シミュレーションの音：生成的音声でマルチモーダルなsim-to-realロボット方策を学習sim2real2025/7/1
物理シミュレータに大規模生成モデルを統合し、映像に条件づけたリアルな音声を合成することで、実機データなしに注ぐタスクのマルチモーダル方策を学習し、未知の容器や液体へのゼロショット転移を実現した。
- ViTacFormer：視触覚クロスモーダル表現による巧みなマニピュレーションマニピュレーション2025/6/1
視覚と触覚をクロスアテンションで融合し、将来の触覚信号を予測する自己回帰ヘッドを備えた表現学習手法を提案。多指ハンドの模倣学習に応用し、実世界タスクで成功率を約50%向上させ、11段階・2.5分の長期的操作を自律遂行した。
- ロドリゲスネットワーク：ロボット動作学習のためのキネマティクス誘導バイアス模倣学習2025/6/1
関節系の運動学構造を反映した帰納バイアスを持つニューラル演算子「Neural Rodrigues Operator」を提案し、それを用いた動作処理特化型ネットワークRodriNetを構築。模倣学習や単眼3Dハンド再構成で有効性を示した。
- SkillBlender：スキルブレンドによる汎用人型ロコマニピュレーションロコマニピュレーション2025/6/1
目標条件付きの汎用プリミティブスキルを事前学習し、それらを動的にブレンドすることで、タスク固有の報酬設計を最小限に抑えつつ多様な人型ロコマニピュレーションを実現する階層型強化学習フレームワークを提案。
- 全身姿勢に条件付けられた一人称視点動画予測動画予測2025/6/1
過去の動画と3D身体姿勢の動作から、一人称視点の未来動画を自己回帰拡散トランスフォーマーで予測するモデルPEVAを提案し、大規模データセットNymeriaで学習・評価した。
- DexGarmentLab: 巧みな衣類操作のための環境と汎化可能な方策マニピュレーション2025/5/1
両手での巧みな衣類操作に特化した大規模シミュレーション環境DexGarmentLabを構築し、単一の実演から多様な軌道を自動生成する手法と、形状・変形の多様性に汎化する階層的な操作方策HALOを提案した。
- 視覚的模倣による文脈依存型ヒューマノイド制御全身制御2025/5/1
日常動画から人間と環境を再構成し、階段昇降や椅子への着座など周囲の状況に応じた全身制御方策をヒューマノイドに学習させるreal-to-sim-to-realパイプラインを提案。
- RoboVerse：スケーラブルで汎化可能なロボット学習のための統合プラットフォーム・データセット・ベンチマークsim2real2025/4/1
複数のシミュレータとロボット形態に対応する統合シミュレーション基盤MetaSimと、高品質な合成データセット、模倣学習・強化学習の統一ベンチマークを提供するフレームワークを提案。
- OTTER: テキスト認識型視覚特徴抽出を備えた視覚-言語-行動モデルVLA2025/3/1
言語指示に意味的に対応する視覚特徴だけを選択的に抽出して行動予測に用いるVLAアーキテクチャを提案し、事前学習済みの視覚言語モデルを凍結したまま高いゼロショット汎化を実現した。
- DexterityGen：前例のない器用さを実現する基盤コントローラマニピュレーション2025/2/1
強化学習で大規模な器用な動作プリミティブを事前学習し、それを基に基盤コントローラを訓練。人間の遠隔操作をプロンプトとして実世界で高度な器用操作を実現する。
- ヒューマノイドの視覚ベース巧みな操作のためのSim-to-Real強化学習sim2real2025/2/1
ヒューマノイドロボットの視覚ベース両手巧みな操作を実現するSim-to-Real強化学習の実践的レシピを提案し、把持・持ち上げ・受け渡しタスクで高い成功率を示した。
- 単純な技能から複雑な技能へ：ハンド内物体再配向の事例マニピュレーション2025/1/1
既存の回転スキルを再利用した階層的方策により、シミュレーションから実世界への転移が容易で外乱に頑健なハンド内物体再配向を実現し、固有感覚情報と低レベルスキル予測から物体姿勢を推定する手法も提案した。
- 最小限のフィードバックでアラインメントを最大化：視覚運動ロボット政策のアラインメントのための効率的な報酬学習VLA2024/12/1
視覚運動ロボット政策を人間の選好に合わせるため、事前学習済み視覚エンコーダを微調整し特徴マッチングで密な視覚報酬を構築するRAPLを提案。従来のRLHFより5倍少ない人間フィードバックでアラインメントを実現。
- 大規模人間動画から学ぶ汎用人型ポーズ制御VLA2024/12/1
2000万件超の人間動画から人型ロボットのポーズとテキスト指示のデータセットHumanoid-Xを構築し、テキスト入力で人型ロボットを制御する大規模モデルUH-1を学習した。
- 人工多モーダル指先による触覚のデジタル化触覚2024/11/1
高解像度センサとオンデバイスAIを備えた半球状の人工指先を開発し、触覚・振動・熱・匂いを多モーダルに検出できることを示した論文。
- 難地形を歩行するヒューマノイドの学習歩行2024/10/1
固有感覚と行動の履歴から次行動を予測するTransformerを平坦地で事前学習し強化学習で不整地に微調整することで、実機ヒューマノイドが未整備の自然地形や急斜面を安定して歩行できるようにした。
- 動画からの手と物体のインタラクション事前学習マニピュレーション2024/9/1
野生の動画から人間の手と物体の3D軌道を抽出し、ロボットの操作スキルを事前学習する手法を提案。生成モデルで汎用的な操作の事前分布を獲得し、下流タスクへの適応を効率化する。
- 極限適応を実現する学習ベースのクアッドコプター制御器制御/適応2024/9/1
模倣学習と強化学習を組み合わせ、機体パラメータをセンサ履歴から推定することで、質量・サイズ・アクチュエータ性能が大きく異なるクアッドコプターに適応する低レベル制御器を開発した。
- ペンを回す学習から得られた教訓マニピュレーション2024/7/1
シミュレーションで強化学習と軌道データを生成し、実世界で微調整することで、ペンのような物体を手の中で回転させる技能を習得した研究。
- せん断力と垂直力を感知する触覚スキンを用いた手内平行移動の学習触覚2024/7/1
触覚スキンのセンサモデルを提案し、せん断力と垂直力を用いた強化学習方策で手内での物体操作を実現、実機実験で有効性を示した。
- 視触覚データを用いた双腕多指ハンドによる技能学習マニピュレーション2024/4/1
低コストな双腕多指ハンドの遠隔操作システムHATOを開発し、触覚センサ付き義手を転用して視触覚データを収集、長期的で高精度なタスクを学習させた。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- 両手でキャップをひねり開ける：双腕多指ハンドのsim-to-real強化学習sim2real2024/3/1
シミュレーションで深層強化学習を用いて訓練した双腕多指ハンドの制御方策を、物理モデリング・実時間知覚・報酬設計の工夫により実世界へ効率的に転移し、多様な未見のボトルキャップを両手でひねり開ける動的で器用な動作を実現した。
- 次トークン予測としてのヒューマノイド歩行歩行2024/2/1
センサ運動軌跡を自己回帰的に次トークン予測するTransformerで学習し、実機ヒューマノイドをサンフランシスコでゼロショット歩行させた研究。
- 触覚を感じるニューラルフィールド：ハンド内操作のための視触覚知覚マニピュレーション2023/12/1
視覚と触覚を組み合わせ、ニューラルフィールドをオンライン学習して物体の形状と姿勢を推定する手法NeuralFeelsを提案。ハンド内操作中の遮蔽に強く、視覚のみより最大94%の追跡改善を実現。
- 分布シフト下でのセンサーモーター制御のためのコンフォーマル政策学習強化学習2023/11/1
コンフォーマル分位点を入力とするスイッチングポリシーを設計し、分布シフトを統計的保証付きで検出・対応する手法を提案。自動運転シミュレーションと四足歩行ロボットの能動知覚で有効性を実証。
- GOAT: どこへでも行ける万能ナビゲーションシステムナビゲーション2023/11/1
カテゴリ・画像・言語で指定された目標へ移動できる、経験から学習し異なるロボットにも展開可能なナビゲーションシステムを提案し、実環境で83%の成功率を達成した。
- 言語モデルによる対話的なタスクプランニングタスクプランニング2023/10/1
関数呼び出しで高レベル計画と低レベル技能実行を統合し、事前学習済み視覚モデルでシーンを接地することで、対話的に長期タスクを計画するフレームワークを提案。ミルクティー作成タスクで実世界検証を行った。
- コンフォーマル決定理論：不完全な予測からの安全な自律的意思決定安全意思決定2023/10/1
不完全な機械学習予測のもとでも統計的保証付きで低リスクな意思決定を行う枠組みを提案し、ロボットの歩行者回避計画や自動取引、製造に応用した。
- Habitat 3.0：人間・アバター・ロボットの共生シミュレーション基盤sim2real2023/10/1
家庭環境での人間とロボットの協調作業を研究するためのシミュレーションプラットフォームHabitat 3.0を提案し、人間参加型の評価基盤と社会的ナビゲーション・片付けタスクを実装した。
- あなたにとって重要なものは何か？ロボット学習のための視覚表現アラインメントに向けてVLA2023/10/1
人間のフィードバックを用いてロボットの視覚表現をユーザーの好みに合わせ、タスクに重要な要素を分離するRAPLを提案。X-MAGICALとロボットマニピュレーションで高いサンプル効率とゼロショット汎化を実現。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 視覚と触覚による汎用的な手先内物体回転マニピュレーション2023/9/1
シミュレーションで学習した視触覚融合トランスフォーマーにより、指先で多軸の物体回転を実現するシステムRotateItを提案した。
- 視覚に基づく追跡・逃避ロボット政策の学習追跡・逃避2023/8/1
完全観測可能な政策で部分観測可能な政策を教師あり学習し、RGB-Dカメラを搭載した四足歩行ロボットで追跡・逃避行動を実現した。
- センサモータ事前学習によるロボット学習VLA2023/6/1
カメラ画像・固有感覚・行動の系列をトークン化しマスク予測で自己教師あり事前学習するTransformerモデルRPTを提案し、実世界2万軌道で事前学習がスクラッチ学習を上回りタスク・環境・ロボット間の転移を可能にすることを示した。
- マニピュレータを尾として活用：脚式ロコモーションの動的安定性向上歩行2023/5/1
脚式ロボットの腕を尾のように使うことで、高速旋回や外乱下での安定性を高める強化学習手法を提案。自由度を段階的に解放する訓練法で効率的に学習し、シミュレーションと実機で有効性を確認。
- 画像で指定された物体へのナビゲーションナビゲーション2023/4/1
画像で指定された物体を探索・再同定・位置推定し、未知環境でロボットを目的地へ誘導するモジュール型システムを構築し、実機で88%の成功率を達成した。
- 身体性知能のための人工視覚皮質の探求：現状と展望VLA2023/3/1
身体性AI向けの視覚基盤モデルを17タスクで体系的に評価し、大規模データで学習したVC-1が平均的に優れるが万能ではないことを示し、適応で更なる性能向上を実現した。
- 強化学習による実世界でのヒューマノイド歩行歩行2023/3/1
固有感覚と行動の履歴を入力とするTransformerベースの強化学習コントローラを訓練し、シミュレーションから実世界へゼロショットで転移して、屋外の多様な地形を歩行できるヒューマノイドロボットを実現した。
- 実世界における物体へのナビゲーションナビゲーション2022/12/1
家庭環境6軒で古典・モジュラー・エンドツーエンドの意味的視覚ナビゲーション手法を比較し、モジュラー学習が90%の成功率を達成する一方、エンドツーエンド学習はシミュレーションから実世界で77%から23%に低下することを示した。
- 自己中心視覚を用いた難地形での脚式移動歩行2022/11/1
単眼の深度カメラだけを使い、階段や飛び石、溝などの難所を四足ロボットが踏破できるエンドツーエンドの移動方策をシミュレーションで学習し、実機に転移させた。
- インターネット動画から物体操作を模倣学習する模倣学習2022/11/1
インターネット動画から手と物体の4D軌道を再構成し、物理シミュレータ上で強化学習により様々な物体操作を模倣する手法を提案した。
- クロスモーダル教師あり学習による視覚歩行の獲得歩行2022/11/1
単眼RGBカメラと固有感覚のみを用いた視覚歩行方策を実世界で学習する手法を提案し、階段や滑りやすい坂道など多様な地形を30分未満の実データで歩行可能にした。
- マスク付き視覚事前学習による実世界ロボット学習VLA2022/10/1
多様な動画画像に対するMAEベースの自己教師あり視覚事前学習を行い、凍結した表現を制御モジュールに渡すことで、様々な実世界ロボットタスクでCLIPやImageNet事前学習を上回る性能を示した。
- 高速運動適応による把持内物体回転マニピュレーション2022/10/1
シミュレーションで訓練した適応制御器が、実機のロボットハンドで多様な物体を把持内で回転させる手法を提案。
- 大きく異なるクアッドコプターに適用可能な単一のホバリング近傍位置制御器の学習飛行制御/sim2real2022/9/1
質量・サイズ・モーター特性が大きく異なる機体や未知の外乱にオンライン適応できる単一のニューラルネット制御器をシミュレーションのみで学習し、実機2機体で検証した。
- 物体再配置のためのマルチスキル移動マニピュレーションマニピュレーション2022/9/1
長期的な移動マニピュレーションタスクを、移動を伴う操作スキルと領域ゴールを持つナビゲーションスキルに分解して解く手法を提案し、ベンチマークで性能向上を示した。
- 二足歩行ロボットのための適応型高速運動適応歩行2022/5/1
二足歩行ロボットの不安定さに対応するため、高速適応手法を拡張し、不完全な推定器に合わせてベースポリシーを微調整するA-RMAを提案。シミュレーションで優位性を示し、実機Cassieでのゼロショット展開を実現。
- モーター制御のためのマスク付き視覚事前学習VLA2022/3/1
実世界画像のマスク付きモデリングで視覚表現を自己教師あり学習し、固定したエンコーダ上で強化学習によりロボットの運動制御を画素から学習する手法を提案。
- 視覚と固有感覚を融合した脚式ロボットのナビゲーション歩行ナビゲーション2021/12/1
視覚と固有感覚の相補性を活かし、脚式ロボットが歩行能力を考慮した経路計画を行う点ゴールナビゲーションシステムVP-Navを開発した。
- SEAL: 探索と3D一貫性を用いた自己教師あり身体性能動学習自己教師あり学習2021/12/1
インターネット画像で学習済みの認識モデルを、3Dセマンティックマップと時空間一貫性によるラベル付けで自己教師あり適応させ、物体検出・セグメンテーションと物体目標ナビゲーションを同時に改善するフレームワークを提案。
- 微分可能な空間計画のためのTransformer経路計画2021/12/1
障害物マップから長距離の空間依存を考慮して経路計画を学習するTransformerベースのプランナSPTを提案し、操作・ナビゲーションタスクで既存の微分可能プランナを7〜19%上回った。
- エネルギー消費の最小化が脚式ロボットの歩容を創発させる歩行2021/11/1
機械的エネルギー消費を最小化するように学習させることで、実機の四足ロボットに速度に応じた自然な歩容（整地では馬や羊に似た構造的歩容、不整地では非構造的歩容）が創発することをシミュレーションと実機で示した論文。
- Omnidata：3Dスキャンからマルチタスク中間視覚データセットを生成するスケーラブルなパイプラインデータセット生成2021/10/1
実世界の3Dスキャンをパラメトリックにサンプリング・レンダリングして多タスク視覚データセットを生成するパイプラインを提案し、生成データのみで学習したモデルが複数の視覚ベンチマークで最先端性能を達成した。
- 視覚と触覚による能動的な3D形状復元触覚2021/7/1
高解像度の視覚型触覚センサを備えた触覚シミュレータとメッシュベースの3D形状復元モデルを組み合わせ、触覚・視触覚の事前情報で探索を導くデータ駆動型の能動的触覚探索フレームワークを構築した。
- 脚式ロボットのための高速モータ適応歩行2021/7/1
四足歩行ロボットが未知の地形や負荷変化に瞬時に適応できるよう、シミュレーションのみで訓練した基本ポリシーと適応モジュールを組み合わせたRMAアルゴリズムを提案し、実機A1で多様な地形での高い性能を示した。
- Habitat 2.0：家庭用アシスタントロボットの訓練プラットフォームsim2real2021/6/1
物理シミュレーション付き3D環境で家庭内の片付けや配膳などのタスクを解くロボットを訓練するためのデータ・シミュレータ・ベンチマークを提供し、強化学習と古典的パイプラインを比較した。
- 目標・経由点・経路から長期人間軌道予測へ軌道予測2020/12/1
人間の軌道予測の不確実性を「長期目標による認識的不確実性」と「経由点・経路による偶発的不確実性」に分解し、1分先までの長期予測設定を提案するとともに、その構造を活用するY-netで従来手法を上回った論文。
- 中間視覚表現によるロバスト方策：マニピュレーションとナビゲーションにおける実験的研究VLA2020/11/1
深層強化学習に中間視覚表現を組み込むことで、サンプル効率と汎化性能が向上し、ドメインランダム化より大きなドメインシフトにも対応できることをマニピュレーションとナビゲーションで示した。
- 再配置：身体性AIへの挑戦身体性AI2020/11/1
物体を指定された状態に並べ替える「再配置」タスクを身体性AI研究の共通ベンチマークとして提案し、4つのシミュレーション環境と評価指標を示した論文。
- 視覚と触覚による3D形状再構成触覚2020/7/1
ロボットハンドの触覚と視覚を統合し、チャートベースの手法で物体の3D形状を再構成する研究。触覚情報が接触部位周辺の再構成も改善することを示した。
- 状態のみの模倣学習による巧みな操作模倣学習2020/4/1
逆動力学モデルをポリシーと同時に学習し、行動ラベルなしの状態のみのデモンストレーションから巧みな操作を模倣できるようにした。
- サイドチューニング：加算型サイドネットワークによるネットワーク適応のベースライン転移学習2019/12/1
事前学習済みネットワークを変更せず、軽量な「サイド」ネットワークを加算で融合して学習する適応手法を提案し、過学習や破滅的忘却に強く多様なタスクで有効性を示した。
- 中レベル視覚事前知識を用いたナビゲーション学習ナビゲーション2019/12/1
距離推定やエッジ検出などの中レベル視覚スキルを強化学習に組み込み、生画像からの学習より速く汎化性能も高いナビゲーションポリシーが得られることを大規模実験で示した論文。
- 3Dシーングラフ：意味・3D空間・カメラを統合する構造3Dシーングラフ2019/10/1
3Dメッシュとパノラマ画像から、物体・部屋・カメラの意味情報と関係を統合した3Dシーングラフを半自動で構築するフレームワークを提案した論文。
- 一人称視点動画からナビゲーションのサブルーチンを学習するナビゲーション2019/5/1
専門家の一人称視点動画に自己教師あり逆モデルで擬似ラベルを付け、潜在意図条件付き方策として視覚運動サブルーチンを獲得する手法を提案し、ナビゲーションの探索や階層強化学習、実機ロボットで有効性を示した。
- Habitat：身体性AI研究のための高速フォトリアル3Dシミュレーション基盤sim2real2019/4/1
フォトリアルな3D環境で身体性エージェントを高速に訓練・評価できるシミュレータHabitat-SimとAPIライブラリHabitat-APIを開発し、学習vsSLAMの再検証やクロスデータセット汎化実験を行った。
- 最適制御と学習を組み合わせた未知環境での視覚ナビゲーション視覚ナビゲーション2019/3/1
学習ベースの知覚で衝突回避経路のウェイポイントを生成し、モデルベースの最適制御で滑らかで動的に実行可能な軌道を計画・追従することで、未知の混雑環境でもロバストに目的地へ到達する手法を提案した。
- 視覚記憶によるロバストな経路追従ナビゲーション2018/12/1
経路の実演から抽象表現を生成し、その記憶を用いてノイズや環境変化があっても往復で経路をたどる学習手法を提案した論文。
- 中レベル視覚表現が視覚運動ポリシーの汎化とサンプル効率を改善する視覚運動ポリシー2018/12/1
距離推定やエッジ検出などの中レベル知覚スキルを強化学習に組み込むことで、生画像からの学習よりナビゲーションタスクの汎化性能とサンプル効率が向上することを示し、効率的な特徴セットを提案した。
- Gibson環境：実世界知覚を備えた身体性エージェントのための仮想環境sim2real2018/8/1
実在する572棟・1400以上の空間を仮想化した環境「Gibson」を構築し、実世界の意味的複雑さを保ちつつシミュレーションで学習した知覚モデルをそのまま実環境へ展開できる仕組みを提案した論文。
- 身体性ナビゲーションエージェントの評価に関する合意形成ナビゲーション2018/7/1
3次元環境で移動するAIエージェントの研究が乱立する中、作業部会が問題設定・汎化の役割・評価指標・標準ベンチマークシナリオについて合意した推奨事項をまとめた論文。
- インタラクションによるインスタンスセグメンテーションの学習インスタンスセグメンテーション2018/6/1
ロボットが環境と自己教師ありで相互作用しながら視覚観測を物体ごとに分割するセグメンテーションモデルを学習する手法を提案し、新規物体や背景への汎化と下流の視覚制御タスクでの有用性を示した。
- 感覚だけじゃない：視覚と触覚で学ぶ把持と再把持マニピュレーション2018/5/1
視覚と触覚の生データから把持調整の結果を予測し、効率的に把持を繰り返し調整する深層マルチモーダルモデルを提案した論文。
- ゼロショット視覚模倣学習模倣学習2018/4/1
エージェントが専門家の行動なしに自己探索でスキルを獲得し、目標画像列だけから新しいタスクを模倣できる枠組みを提案した論文。
- タスクノミー：視覚タスク間の転移学習構造の解明転移学習2018/4/1
26種類の視覚タスク間の転移学習依存関係を計算的にモデル化し、タスク間の構造を地図化することで、ラベル付きデータの需要を約2/3削減できることを示した論文。
- 地図とランドマーク表現を統合した視覚ナビゲーション視覚ナビゲーション2017/12/1
地図ベースの経路計画とランドマークベースの頑健な実行を学習により統合し、少数の登録画像だけで未知環境をナビゲートする手法を提案した。
- 姿勢推定とマッチングによる汎用3D表現の学習3D表現学習2017/10/1
物体中心のカメラ姿勢推定と広基線特徴マッチングを解くマルチタスクConvNetを学習し、その内部表現が微調整なしで新規3Dタスクに汎化することを示した研究。
- 自己教師あり学習と模倣を組み合わせた視覚ベースのロープ操作変形物体操作2017/3/1
人間がロープを操作する画像列を入力に、自己教師あり学習で得たピクセル単位の逆動力学モデルと模倣による高レベル計画を組み合わせ、ロープを目標形状へ操作する手法を提案。
- 視覚ナビゲーションのための認知マッピングと計画視覚ナビゲーション2017/2/1
一人称視点から地図を構築し計画する統合ニューラルネットワークCMPを提案し、実世界建物のシミュレーションと実機ロボットで従来手法を上回る性能を示した。
- 突いて学ぶ：直感的物理の経験学習マニピュレーション2016/6/1
ロボットが10万回以上の突き動作を実機で行い、画像から順モデルと逆モデルを同時学習することで直感的物理モデルを獲得し、多段階の意思決定に活用できることを示した。
- 移動を通じて視ることを学ぶ自己教師あり学習2015/5/1
自己運動（エゴモーション）の情報を教師信号として視覚特徴を学習し、物体認識やシーン認識、視覚オドメトリなどでクラスラベル学習に匹敵する性能を示した研究。
- RGB-D画像からの物体検出・セグメンテーションのための豊富な特徴学習RGB-D認識2014/7/1
深度画像に地面からの高さと重力方向の角度を符号化する地心埋め込みを提案し、CNNによるRGB-D物体検出・インスタンスセグメンテーション・意味セグメンテーションの精度を大幅に改善した。
