Danny Driess
収録論文 37本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- MEM: 視覚言語行動モデルのためのマルチスケール具現化メモリVLA2026/3/1
ロボットの長期タスク遂行のために、ビデオベースの短期記憶とテキストベースの長期記憶を組み合わせたマルチスケールメモリアーキテクチャを提案し、15分に及ぶ複雑なタスクを可能にした。
- 操縦可能な視覚-言語-行動ポリシーによる身体性推論と階層制御VLA2026/2/1
サブタスクや動作、ピクセル座標など多様な抽象度の合成コマンドでVLAを訓練し、VLMの知識を低レベル行動に反映させて汎化性能を高める手法を提案。
- π*0.6：経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- 知識を保護する視覚-言語-行動モデル：高速学習・高速推論・より良い汎化VLA2025/5/1
連続制御用のアクションエキスパートを組み込んだVLAモデルにおいて、学習速度と知識転移が損なわれる問題を分析し、VLMバックボーンを保護する学習手法を提案した。
- 効率的な身体性推論のための学習戦略VLA2025/5/1
ロボットのChain-of-Thought推論がなぜ有効かを分析し、軽量で高速な代替推論手法を提案した論文。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- Gemini Robotics：AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従VLA2025/2/1
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- RT-Affordance: ロボットマニピュレーションのための汎用中間表現としてのアフォーダンスマニピュレーション2024/11/1
タスクの要所でのロボット姿勢を表すアフォーダンスを中間表現として用い、言語指示からアフォーダンス計画を生成して操作方策を条件付ける階層モデルを提案し、新規タスクで既存手法を50%以上上回る性能を示した。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- ALOHA Unleashed：ロボット巧みさのためのシンプルなレシピマニピュレーション2024/10/1
ALOHA 2プラットフォームでの大規模データ収集とDiffusion Policyを組み合わせることで、変形物体や複雑な接触を伴う両手巧み操作タスクを模倣学習で高精度に実現できることを示した研究。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- Vid2Robot: クロスアテンションTransformerによる動画条件付きエンドツーエンド方策学習VLA2024/3/1
人間の操作動画を入力として、クロスアテンションTransformerでロボットの行動を生成するエンドツーエンド方策を提案し、実機で従来手法を20%以上上回る性能と物体間の動作転移を実現した。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- SpatialVLM：視覚言語モデルに空間推論能力を与えるVLA2024/1/1
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
- ロボティクスにおける基盤モデル：応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 汎用パターン機械としての大規模言語モデルVLA2023/7/1
追加学習なしの大規模言語モデルが文脈内学習により任意のトークン列を補完できることを示し、それをロボットの状態列予測や報酬条件付き軌道生成などの制御問題に応用できる可能性を探った。
- グラウンデッドデコーディング：身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- ロボットマニピュレーション計画における因数分解非線形計画問題の実行可能性学習マニピュレーション2022/10/1
因数分解非線形計画問題において、どの変数と制約が同時に実行不可能かをグラフニューラルネットワークで予測し、競合抽出を高速化する手法を提案した論文。
- NeRFを教師信号に用いた強化学習VLA2022/6/1
Neural Radiance Fieldsを監督信号として画像から潜在状態表現を学習し、ロボット物体操作タスクの強化学習性能を向上させる手法NeRF-RLを提案。
- FC³: 実行可能性に基づく制御チェーン協調制御チェーン協調2022/5/1
各制御器の幾何学的特徴と制約を公開し、その実行可能性を推論することで、制御器チェーンを自動構築・協調・切替する枠組みを提案し、実機実験で干渉に対する頑健性を示した。
- 制約列MPC：逐次マニピュレーションのための反応的タイミング最適制御マニピュレーション2022/3/1
TAMP計画の離散的な制約列をMPCでロバストに実行するため、ウェイポイント・タイミング・短い予測ホライズン経路の3つの非線形計画をオンラインで解く制御手法を提案し、フェーズバックトラッキングで外乱に頑健な再初期化を実現した。
- 合成可能なNeRFによるマルチオブジェクトダイナミクスの学習NeRF/ダイナミクス2022/2/1
複数視点画像から物体ごとの潜在ベクトルを抽出し、個別NeRFでシーンを再構成した上で、潜在空間上のグラフニューラルネットワークで物体間の動力学を学習する手法を提案。剛体・変形物体を含む構成的シーンの長期予測が安定することを示した。
- 視覚入力からの操作計画のためのニューラル暗黙モデルによる深い視覚的制約マニピュレーション計画2021/12/1
NeRFに着想を得て物体を連続関数として表現し、制約特徴を画像から直接学習することで、視覚入力のみから長期的な操作計画を可能にする手法を提案した論文。
- 計画を実行する学習：ロボティクスにおける効率的な汎用計画条件付き方策の学習マニピュレーション2021/11/1
近似計画の情報を活用し、計画を条件とした汎用方策を学習するL2Eを提案。ロボットマニピュレーション実験で純粋な強化学習や計画法より高性能を示した。
- 符号付き距離場の汎関数としてモデルを学習する操作計画マニピュレーション2021/10/1
物体を符号付き距離場(SDF)で表現し、その汎関数として運動学・動学モデルを学習することで、フックへのマグカップ掛けや物体押し動作を統一的な最適化ベース計画で実現した研究。
- 建設組立のための長期的マルチロボット再配置計画マルチロボット計画2021/6/1
大規模な異種ロボットチームによる建設組立のため、複雑なタスク・動作計画を小さな部分問題に分割して並列に解く計画システムを提案し、実機2臂で実行可能性を示した。
- 未知物体の6自由度追従と反応型把持マニピュレーション2021/3/1
SiameseネットワークとICPを組み合わせて未知物体を6自由度で追従し、把持点サンプリングと動的軌道計画を統合した反応型把持システムを提案した。
- 初期画像からタスク・動作計画の行動系列を予測する深層視覚推論タスク・動作計画2020/6/1
初期シーン画像から畳み込み再帰ネットワークで離散行動系列を直接予測し、TAMPの組合せ爆発を回避して動作計画の求解回数を大幅に削減する手法を提案。
- 長期建築施工計画のためのロバストなタスク・モーションプランニングタスク・モーションプランニング2020/3/1
数百の形状の異なる部材からなる大規模パビリオンを自律的に建設できるマルチエージェントTAMPフレームワークを開発した。
- 不確実性下での拘束マニピュレーションとタスク・動作計画のための確率的枠組みマニピュレーション2020/3/1
論理幾何計画(LGP)を確率領域に拡張し、接触モードごとのガウス分布の混合として後方経路分布を捉えることで、不確実性低減のための接触活用や外乱に反応する制御を可能にした。
- 物理記述による物理推論：力に基づく逐次マニピュレーション計画マニピュレーション2020/2/1
物体間の力のやり取りを最適化の決定変数として記述し、異なる抽象度を混在させながら把持・押し・棚からの取り出し・投擲などの逐次マニピュレーション計画を解く手法を提案した論文。
