Pete Florence
収録論文 31本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ALOHA Unleashed:ロボット巧みさのためのシンプルなレシピマニピュレーション2024/10/1
ALOHA 2プラットフォームでの大規模データ収集とDiffusion Policyを組み合わせることで、変形物体や複雑な接触を伴う両手巧み操作タスクを模倣学習で高精度に実現できることを示した研究。
- Mobility VLA:長文脈VLMとトポロジカルグラフによるマルチモーダル指示ナビゲーションナビゲーション/VLA2024/7/1
デモ動画と自然言語・画像の指示を入力とし、長文脈VLMで目標フレームを特定、トポロジカルグラフに基づく低レベル方策で実環境をナビゲートする階層型VLAを提案した。
- ALOHA 2:両腕テレオペレーション向けの改良型低コストハードウェアテレオペレーション2024/5/1
両腕マニピュレーション研究を加速するため、低コストで堅牢なテレオペレーション用ハードウェアALOHA 2を開発し、設計とMuJoCoモデルをオープンソース化した。
- SpatialVLM:視覚言語モデルに空間推論能力を与えるVLA2024/1/1
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
- RoboVQA:ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- スケールアップと蒸留:言語誘導によるロボットスキル獲得VLA2023/7/1
LLMで計画し多様な操作軌道を大量生成、失敗検知と自動ラベリングを行い、言語条件付きマルチタスク拡散方策へ蒸留する枠組みを提案。
- 汎用パターン機械としての大規模言語モデルVLA2023/7/1
追加学習なしの大規模言語モデルが文脈内学習により任意のトークン列を補完できることを示し、それをロボットの状態列予測や報酬条件付き軌道生成などの制御問題に応用できる可能性を探った。
- RoboPianist: 深層強化学習による器用なピアノ演奏マニピュレーション2023/4/1
人間の手を模したロボットハンドが深層強化学習で150曲のピアノ曲を演奏できるようにするシステムとベンチマークを開発した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- 手のひらの中のNeRF:新視点合成によるロボティクスのための補正拡張sim2real2023/1/1
NeRFを使って視覚実演に合成ノイズを加え、追加の専門家監督なしにロボット把持方策を改善するオフライン拡張手法SPARTNを提案。
- MIRA: ロボットのアフォーダンスのためのメンタルイメージマニピュレーション2022/12/1
2D画像から一貫した3Dシーン表現を構築し、新規視点の画像合成とピクセル単位のアフォーダンス予測を組み合わせて6自由度マニピュレーションの行動を最適化するフレームワークを提案。
- 単一レベル微分可能接触シミュレーション接触シミュレーション2022/12/1
凸プリミティブで表される物体・ロボットの接触動力学を、衝突検出と接触シミュレーションを統合した単一レベルの最適化問題として定式化し、従来法より高ロバスト・低計算コストで微分可能な接触シミュレータSilico.jlを実装した論文。
- 対話型言語:ロボットとリアルタイムに対話するVLA2022/10/1
数十万件の言語注釈付き軌道データで行動クローニングを行い、リアルタイムの自然言語指示に応じてロボットを操作するフレームワークを構築し、データセットやベンチマークを公開した。
- VIRDO++: 変形可能物体の実世界における視触覚ダイナミクスと知覚触覚2022/10/1
視覚と触覚を統合したニューラル陰関数表現により、変形可能物体の状態推定と変形ダイナミクス予測を実世界で実現し、未知物体や接触形態への汎化を示した。
- コードをポリシーとして:身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- NeRFを教師信号に用いた強化学習VLA2022/6/1
Neural Radiance Fieldsを監督信号として画像から潜在状態表現を学習し、ロボット物体操作タスクの強化学習性能を向上させる手法NeRF-RLを提案。
- 物体認識表現を用いたマルチオブジェクト環境での視覚運動制御マニピュレーション2022/5/1
物体を意識した自己教師あり表現学習により、複数物体が存在する環境でのロボット制御方策を少ないデータで効率的に学習する手法を提案し、従来手法を上回る性能を示した。
- NeRFを教師信号に用いた密な物体記述子の学習物体記述子学習2022/3/1
NeRF表現から多視点間の密な対応を抽出し、それを教師データとして薄い・反射物体の視点不変な密記述子を学習。6DoFピック&プレース精度を大幅に向上させた。
- 暗黙的キネマティックポリシー:エンドツーエンドロボット学習における関節空間と直交空間の統合マニピュレーション2022/3/1
観測と行動を入力とする暗黙的模倣学習を活用し、同じ行動を関節空間と直交空間の両方でポリシーに提示することで、各空間の帰納的パターンを学習させるIKPを提案。シミュレーション実験で複雑なマニピュレーションタスクにおいてベースラインより優れ、関節エンコーダのオフセット補正も学習できることを示した。
- 変形物体の視覚・触覚統合暗黙表現VIRDO触覚2022/2/1
点群と触覚反応力を入力に、接触位置と力の潜在表現を学習して変形物体の形状変化を予測するマルチモーダル暗黙表現を提案した論文。
- 最適化ベースのダイナミクスを用いた軌道最適化軌道最適化2021/9/1
系のダイナミクスを制約付き最適化問題の解として表現し、その滑らかな勾配を上位の軌道最適化に渡す二段階最適化の枠組みを提案。関節制限や摩擦、推力制限などを扱う複数領域の系でiLQRによる軌道生成を実証した。
- 暗黙的モデルによる行動クローニング模倣学習2021/9/1
エネルギー-basedモデルを用いた暗黙的行動クローニングが、明示的モデルより優れることを示し、D4RLや実機の接触タスクで有効性を実証した論文。
- 異身体間逆強化学習XIRL模倣学習2021/6/1
身体構造が大きく異なるエージェントのデモ動画から、時間的サイクル整合性を利用してタスク進行を捉える視覚埋め込みを自己教師あり学習し、報酬関数を獲得する手法を提案した。
- NeRFを逆算して姿勢推定を行うiNeRF姿勢推定2020/12/1
NeRFを勾配降下で逆算し、メッシュ不要のRGB画像のみから6DoFカメラ姿勢を推定する手法を提案。合成・実世界シーンで有効性を示した。
- 目標条件付きトランスポーターネットワークによる変形可能なケーブル・布・袋の再配置学習変形物体マニピュレーション2020/12/1
ケーブルや布、袋といった変形物体を目標画像の条件に従って操作するため、Transporter Networksに目標条件付けを組み込んだ手法を提案し、1D/2D/3Dの変形構造を対象としたシミュレーションと実機実験で有効性を示した。
- トランスポーターネットワーク:視覚世界を再配置するロボットマニピュレーションマニピュレーション2020/10/1
深層特徴を空間的に再配置して視覚入力からロボット動作の変位を推論するシンプルなアーキテクチャを提案し、物体の仮定なしに高いサンプル効率で積み木やロープ操作などを学習できることを示した。
- 未来へのキーポイント:モデルベース強化学習における自己教師あり対応学習モデルベースRL2020/9/1
画像からキーポイントの対応関係を自己教師ありで学習し、それを用いた予測モデルでモデルベース強化学習を行う手法を提案。3Dシーンやオクルージョン、カテゴリ汎化で精度が向上し、実機でも有効性を確認した。
