Trevor Darrell
UC Berkeley
収録論文 56本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 凍結VLAモデルのための低遅延アクション検証の学習VLA2026/11/10
凍結したVLAモデルの自己展開ログから軽量なアクション検証器を学習し、生成候補の中から成功率の高い行動を低遅延で選択する枠組みを提案した。
- ソーシャルヒューマノイド：人間と協調する全身動作生成システムヒューマノイド/協調動作2026/11/5
人間の動きに反応して29自由度ヒューマノイドが全身動作を生成・実行する階層システムを提案し、人間とヒューマノイドの協調動作ベンチマークを構築した。
- エージェント型ワールドアクションモデルVLA2026/10/21
コードによる計画と動画・行動の同時予測を統合したAW-0を提案し、スキルを再利用可能なプログラムとして扱うことでロボット操作の性能と汎化性を向上させた。
- Robota-Embed：ロボットの文脈内学習と進化のための統合VLA埋め込みVLA2026/10/14
視覚・言語・行動を統合して現在の状態と将来の継続を同時に埋め込むVLA埋め込みモデルを提案し、検索による文脈利用でロボットの成功率を向上させた。
- 世界運動モデル：SE(3)軌道の柔軟な系列モデリングVLA2026/10/1
動的3D世界の要素を剛体SE(3)軌道として表現し、フローマッチングによる系列モデリングで予測・補間・制御・IK・リターゲティング・方策学習を統一的に扱う手法を提案。
- DexTacWAM: 巧みな操作のための視触覚ワールドアクションモデルマニピュレーション2026/9/21
各指先の触覚を個別に符号化し、指・姿勢を考慮した圧縮器で統合して動画拡散ワールドモデルに注入する視触覚ワールドアクションモデルを提案し、接触の多い両手巧み操作タスクで大幅な性能向上を達成した。
- Webエージェントのための判別的世界モデルWebエージェント2026/9/2
Webエージェントの行動選択を改善するため、予測状態マッチングという新しい学習目的を導入し、真の結果状態と代替行動の結果を区別できる世界モデルを訓練した。
- 視覚運動制御のための対比的行動-画像事前学習視覚エンコーダ/事前学習/模倣学習2026/6/15
大規模な人間の第一人称ビデオから手のキーポイントを行動の代理として抽出し、対比学習でロボットの視覚エンコーダを事前学習する手法を提案。実機の器用操作タスクで既存手法を30%以上上回る性能を達成した。
- 遊び心のあるエージェント型ロボット学習スキル獲得2026/6/1
ロボットエージェントが指示なしで自己主導の「遊び」を通じてスキルを獲得し、後続タスクに活用する手法を提案。コード生成エージェントチーム(RATs)が探索タスクを生成・実行・検証・修正し、成功体験をコードスキルライブラリに蓄積する。
- T-Rex: 触覚反応型巧みな操作触覚/操作2026/6/1
触覚信号に動的に反応する操作を実現するため、大規模な触覚データセットと可変レートのMixture-of-Transformersアーキテクチャを導入し、12の操作タスクで成功率を大幅に向上させた。
- 身体化世界モデルの高次化による計画と制御の実現世界モデル/計画/制御2026/4/28
高次元の関節動作空間を直接探索する代わりに、高レベル行動を低レベル関節動作列に変換する軽量ポリシーを訓練し、凍結した世界モデルと組み合わせて高レベル行動から未来観測を予測する「持ち上げられた世界モデル」を提案。人間型エージェントで2Dウェイポイントを高レベル行動とし、低レベル探索より3.8倍精度が向上。
- EgoScale：多様な一人称視点ヒューマンデータによる器用なマニピュレーションのスケーリングマニピュレーション2026/2/1
2万時間超の一人称視点ヒューマン動画でVLAモデルを事前学習し、人間データ量と検証損失の対数線形則を発見。軽量な人間-ロボット中間学習により、22自由度ハンドの器用な操作成功率を54%向上させた。
- 生成された人間動画から物理的に妥当なロボット軌道へヒューマノイド2025/12/1
生成動画から人間の動きを4D表現に変換し、強化学習方策GenMimicでヒューマノイドの物理的に安定した動作として再現する手法を提案。
- 少数デモンストレーションによる視覚-言語-行動モデルのメカニズム的解釈に基づくファインチューニングVLA2025/11/1
少数の実演からタスク固有のアテンションヘッドを特定し選択的にファインチューニングするRobotic Steeringを提案し、LoRAを上回る性能とロバスト性、計算コスト削減、解釈性向上を実機で示した。
- ランダムなおもちゃで遊んで何でも掴めるようになる学習マニピュレーション2025/10/1
球・直方体・円柱・リングの4つの基本形状をランダムに組み合わせた「おもちゃ」で訓練することで、実世界の多様な物体をゼロショットで掴める汎化可能な把持方策を実現した研究。
- 何をする？不可能な指示を拒否するよう視覚-言語-行動モデルを教えるVLA2025/8/1
VLAモデルが環境に存在しない物体を参照する偽前提の指示を検出し、言語で確認・訂正して代替案を実行するInstruct-Verify-and-Actフレームワークを提案。
- シミュレーションの音：生成的音声でマルチモーダルなsim-to-realロボット方策を学習sim2real2025/7/1
物理シミュレータに大規模生成モデルを統合し、映像に条件づけたリアルな音声を合成することで、実機データなしに注ぐタスクのマルチモーダル方策を学習し、未知の容器や液体へのゼロショット転移を実現した。
- LeVERB: 潜在視覚言語指示によるヒューマノイド全身制御VLA2025/6/1
ヒューマノイドの全身制御向けに、視覚言語ポリシーが潜在的な行動語彙を学習し、強化学習ベースの全身制御ポリシーがそれを実行する階層型フレームワークを提案。150以上のタスクを含む初のsim-to-real対応ベンチマークで評価し、単純な階層型VLAより7.8倍高い成功率を達成。
- 全身姿勢に条件付けられた一人称視点動画予測動画予測2025/6/1
過去の動画と3D身体姿勢の動作から、一人称視点の未来動画を自己回帰拡散トランスフォーマーで予測するモデルPEVAを提案し、大規模データセットNymeriaで学習・評価した。
- 視覚的模倣による文脈依存型ヒューマノイド制御全身制御2025/5/1
日常動画から人間と環境を再構成し、階段昇降や椅子への着座など周囲の状況に応じた全身制御方策をヒューマノイドに学習させるreal-to-sim-to-realパイプラインを提案。
- 4D表現で事前学習する自己回帰ロボットモデルVLA2025/2/1
人間の動画から得た3D点追跡の4D表現を活用し、ロボット制御に効率的に転移できる自己回帰モデルARM4Rを提案した。
- ナビゲーション世界モデルナビゲーション/世界モデル2024/12/1
人間とロボットの視点動画で学習した10億パラメータの拡散トランスフォーマーにより、過去の観測と行動から将来の視覚像を予測し、ナビゲーション経路を計画するモデルを提案した。
- 難地形を歩行するヒューマノイドの学習歩行2024/10/1
固有感覚と行動の履歴から次行動を予測するTransformerを平坦地で事前学習し強化学習で不整地に微調整することで、実機ヒューマノイドが未整備の自然地形や急斜面を安定して歩行できるようにした。
- 文脈内学習でLLMにロボット動作を予測させるRoboPromptVLA2024/10/1
訓練なしのテキストのみのLLMが、キーフレームから抽出した動作と物体姿勢をテキスト化した実演を文脈内学習に用いてロボット動作を直接予測するフレームワークを提案。
- LLARVA: 視覚-行動インストラクションチューニングによるロボット学習の強化VLA2024/6/1
構造化プロンプトで多様なロボットタスクを統合するインストラクションチューニング手法と、中間2D表現「ビジュアルトレース」の予測により視覚と行動を整合させ、RLBenchと実機Frankaで高い汎化性能を示した研究。
- EgoPet: 動物視点の自己運動とインタラクションデータセット歩行2024/4/1
ペットの視点から撮影した映像で自己運動とマルチエージェント相互作用を同時に含むデータセットを構築し、四足歩行ロボットの事前学習に有効であることを示した。
- 次トークン予測としてのヒューマノイド歩行歩行2024/2/1
センサ運動軌跡を自己回帰的に次トークン予測するTransformerで学習し、実機ヒューマノイドをサンフランシスコでゼロショット歩行させた研究。
- どっち？物体間の文脈と複数視点を活用した言語グラウンディング言語グラウンディング2023/11/1
似た物体を区別する言語指示から対象物体を選ぶ際、物体同士の比較情報と複数視点の画像を統合して推論するMAGiCを提案し、SNAREタスクで精度を改善した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- センサモータ事前学習によるロボット学習VLA2023/6/1
カメラ画像・固有感覚・行動の系列をトークン化しマスク予測で自己教師あり事前学習するTransformerモデルRPTを提案し、実世界2万軌道で事前学習がスクラッチ学習を上回りタスク・環境・ロボット間の転移を可能にすることを示した。
- 強化学習による実世界でのヒューマノイド歩行歩行2023/3/1
固有感覚と行動の履歴を入力とするTransformerベースの強化学習コントローラを訓練し、シミュレーションから実世界へゼロショットで転移して、屋外の多様な地形を歩行できるヒューマノイドロボットを実現した。
- マスク付き視覚事前学習による実世界ロボット学習VLA2022/10/1
多様な動画画像に対するMAEベースの自己教師あり視覚事前学習を行い、凍結した表現を制御モジュールに渡すことで、様々な実世界ロボットタスクでCLIPやImageNet事前学習を上回る性能を示した。
- 分散型車両調整：Berkeley DeepDriveドローンデータセットと合意形成ベースのモデル自動運転/マルチエージェント2022/9/1
右方優先などの明示的ルールがない道路での人間の分散的な衝突回避調整を研究するため、ドローン映像20本を含むデータセットと、優先順位の創発を説明する合意形成ベースのモデリング枠組みを提案した。
- モーター制御のためのマスク付き視覚事前学習VLA2022/3/1
実世界画像のマスク付きモデリングで視覚表現を自己教師あり学習し、固定したエンコーダ上で強化学習によりロボットの運動制御を画素から学習する手法を提案。
- 反事実的軌跡による強化学習ポリシーの説明解釈性2022/1/1
強化学習エージェントの分布シフト下での振る舞いを、多様な未見状態へ誘導した軌跡で可視化し、人間が検証しやすくする手法を提案した。
- 器用な手と触覚でピアノを弾く学習への挑戦マニピュレーション2021/6/1
強化学習を用いて、楽譜から直接ピアノ演奏を器用な手で学習する手法を提案し、触覚を活用した報酬とカリキュラムでリズムや音量、運指の要求に対応できることを示した。
- PyTouch：触覚信号処理のための機械学習ライブラリ触覚2021/5/1
触覚センサの生データを制御や意思決定に使える高次信号へ変換する、モジュール式で使いやすいオープンソースの機械学習ライブラリPyTouchを提案し、接触検出や滑り・物体姿勢推定で評価した。
- 自動調整によるSim-to-Real転送sim2real2021/4/1
実世界のRGB画像のみを用いてシミュレータのシステムパラメータを自動調整し、実世界に近づける検索手法を提案した論文。
- マルチエージェント環境におけるインスタンス認識型予測ナビゲーション自動運転2021/1/1
エージェント間の相互作用や将来のシーン構造を予測するマルチインスタンスイベント予測モジュールを提案し、安全な行動系列をサンプリングして動的環境での運転方策を効率的に学習する手法。
- 模倣学習におけるコピーキャット問題への敵対的アプローチ模倣学習2020/10/1
部分観測下の模倣学習で、専門家の前の行動を真似てしまう「コピーキャット問題」を敵対的学習で解決し、性能を向上させた。
- 見えないシーンを見る：部屋ナビゲーションのためのアモーダル意味地図学習ナビゲーション2020/7/1
家の建築パターンを学習し、視野外の部屋の位置・大きさ・形を推定する意味地図を生成して、目標部屋への点ナビゲーション方策を訓練する手法を提案した。
- 駐車場における車両の運動と意図予測軌道予測2020/4/1
CARLAシミュレータで駐車場環境と人間の駐車操作データセットを構築し、LSTMやCNN-LSTMが運転者の意図を高精度に推定でき、意図情報と環境の意味表現が駐車軌道予測を大きく改善することを示した。
- 関係強化学習による実用的な複数物体操作への挑戦マニピュレーション2019/12/1
グラフベースの関係アーキテクチャと段階的カリキュラムを組み合わせ、疎な報酬でも複数ブロックの積み上げを少ないデータで学習し、未学習の配置にもゼロショットで汎化できることを示した。
- 計画の足し算：マルチタスク制御のための合成計画ベクトル模倣学習2019/10/1
タスクの軌道をサブタスクの和として表す合成計画ベクトル（CPV）を提案し、追加の教師なしで一発模倣学習から学習して、訓練時より2倍多くのスキルを連続実行するタスクへ汎化できることを示した。
- 単眼俯瞰ビューによる自動運転ネットワーク自動運転2019/5/1
単眼カメラ映像から検出した車や歩行者を真上から見た俯瞰図に変換し、深層ネットワークで自動運転制御を行う手法を提案。GTA Vシミュレータで衝突回数を大幅に削減した。
- 自己組織化する形態の制御学習：モジュール性による汎化の研究モジュラーロボティクス2019/2/1
原始的な手足エージェントが動的に自己組織化して複合体を形成し、その制御を学習するモジュール型協調進化戦略を提案し、環境や構造の変化に対する汎化性能が静的・単一型ベースラインより優れることを示した。
- 自動運転のための物体中心型深層ポリシー自動運転2018/11/1
物体インスタンスとend-to-end学習を組み合わせた物体中心型モデルの分類を提案し、GTA Vシミュレータと実世界データセットで物体非依存手法より優れることを示した。
- 好奇心駆動学習の大規模研究強化学習2018/8/1
外発的報酬なしに予測誤差を報酬とする好奇心のみで54のベンチマーク環境を学習し、多くのゲームで良好に機能することを示した大規模研究。
- インタラクションによるインスタンスセグメンテーションの学習インスタンスセグメンテーション2018/6/1
ロボットが環境と自己教師ありで相互作用しながら視覚観測を物体ごとに分割するセグメンテーションモデルを学習する手法を提案し、新規物体や背景への汎化と下流の視覚制御タスクでの有用性を示した。
- ゼロショット視覚模倣学習模倣学習2018/4/1
エージェントが専門家の行動なしに自己探索でスキルを獲得し、目標画像列だけから新しいタスクを模倣できる枠組みを提案した論文。
- 汎化可能なロボット学習のための物体中心表現の深化マニピュレーション2017/8/1
事前学習済み視覚モデルを物体中心の事前知識として活用し、物体レベルの注意機構で少数のデモから関連物体を特定して操作方策を学習する手法を提案した。
- 自己教師あり予測による好奇心駆動型探索強化学習・探索2017/5/1
自分の行動の結果を自己教師あり学習した特徴空間で予測し、その予測誤差を好奇心として内的報酬に用いることで、報酬が乏しい環境でも効率的に探索できる強化学習手法を提案した。
- マルチタスク・マルチロボット転移のためのモジュール型ニューラルネットワーク方策の学習転移学習2016/9/1
ニューラルネット方策をタスク固有モジュールとロボット固有モジュールに分解し、未学習のロボットとタスクの組み合わせでもゼロショットで汎化できる転移学習手法を提案した。
- 視覚と触覚データによる触感理解のための深層学習触覚2015/11/1
視覚情報と物理的接触データを統合し、物体表面の触感形容詞（圧縮性や滑らかさなど）を分類する深層学習モデルを提案。視覚のみでも触感を予測できることを示した。
- 視覚運動学習のための深層空間オートエンコーダ視覚運動学習2015/9/1
カメラ画像から深層空間オートエンコーダで物体位置などの特徴点を自動抽出し、局所線形モデルに基づく強化学習でロボットの運動スキルを獲得する手法を提案した。
- 視覚運動ポリシーのエンドツーエンド深層学習マニピュレーション2015/4/1
画像から直接モータトルクへのポリシーを深層CNNで学習し、知覚と制御をエンドツーエンドで訓練する手法を提案。実世界のマニピュレーションタスクで有効性を示した。
