Jonathan Tompson
収録論文 26本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- 自己改善する身体性基盤モデルVLA2025/9/1
ロボット基盤モデルの事後学習を2段階(行動クローン+残りステップ予測のSFT、その後自己改善)で行い、人手を最小限に自律的なスキル獲得と高い成功率を実現した研究。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 相互情報量推定によるロボットデモデータの品質選別模倣学習2025/2/1
ロボットの模倣学習データについて、状態と行動の相互情報量への各軌道の寄与をVAE埋め込みとk近傍推定で評価し、デモの品質を選別する手法を提案した。
- RoPEを超えて:STRINGによる2D・3D位置エンコーディングの改善VLA2025/2/1
大規模言語モデルで広く使われるRotary Position Encodingsを統一的な理論枠組みで拡張し、任意次元のトークン座標に対して厳密な並進不変性を保ちつつ低計算コストで2D・3D位置エンコーディングを実現するSTRINGを提案。Vision Transformerに統合し、オープンボキャブラリ物体検出やロボティクス制御で性能向上を示した。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- ALOHA Unleashed:ロボット巧みさのためのシンプルなレシピマニピュレーション2024/10/1
ALOHA 2プラットフォームでの大規模データ収集とDiffusion Policyを組み合わせることで、変形物体や複雑な接触を伴う両手巧み操作タスクを模倣学習で高精度に実現できることを示した研究。
- ALOHA 2:両腕テレオペレーション向けの改良型低コストハードウェアテレオペレーション2024/5/1
両腕マニピュレーション研究を加速するため、低コストで堅牢なテレオペレーション用ハードウェアALOHA 2を開発し、設計とMuJoCoモデルをオープンソース化した。
- RT-H: 言語による行動階層VLA2024/3/1
低レベル動作を「腕を前に動かす」のような言語フレーズで表現し、タスクと行動の間に言語動作を介在させることで、多様なタスク間でデータを共有し、人間の言語介入による修正も可能にする模倣学習手法を提案。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- 複数エンボディメントのための幾何マッチングによる把持マニピュレーション2023/12/1
物体とエンドエフェクタの幾何表現をグラフニューラルネットで学習し、複数のエンドエフェクタに対応した多様な把持を生成する手法GeoMatchを提案した。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- 意味的に想像された経験によるロボット学習のスケーリングマニピュレーション2023/2/1
テキストから画像を生成する拡散モデルを使い、既存のロボット操作データセットに多様な物体や背景を描き加えるデータ拡張手法ROSIEを提案。実世界実験で未見の物体やタスクへの汎化性能と外乱への頑健性が向上することを示した。
- 視覚言語モデルによる指示拡張を用いたロボットスキル獲得VLA2022/11/1
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
- 対話型言語:ロボットとリアルタイムに対話するVLA2022/10/1
数十万件の言語注釈付き軌道データで行動クローニングを行い、リアルタイムの自然言語指示に応じてロボットを操作するフレームワークを構築し、データセットやベンチマークを公開した。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- 物体認識表現を用いたマルチオブジェクト環境での視覚運動制御マニピュレーション2022/5/1
物体を意識した自己教師あり表現学習により、複数物体が存在する環境でのロボット制御方策を少ないデータで効率的に学習する手法を提案し、従来手法を上回る性能を示した。
- 暗黙的モデルによる行動クローニング模倣学習2021/9/1
エネルギー-basedモデルを用いた暗黙的行動クローニングが、明示的モデルより優れることを示し、D4RLや実機の接触タスクで有効性を実証した論文。
- 異身体間逆強化学習XIRL模倣学習2021/6/1
身体構造が大きく異なるエージェントのデモ動画から、時間的サイクル整合性を利用してタスク進行を捉える視覚埋め込みを自己教師あり学習し、報酬関数を獲得する手法を提案した。
- 目標条件付きトランスポーターネットワークによる変形可能なケーブル・布・袋の再配置学習変形物体マニピュレーション2020/12/1
ケーブルや布、袋といった変形物体を目標画像の条件に従って操作するため、Transporter Networksに目標条件付けを組み込んだ手法を提案し、1D/2D/3Dの変形構造を対象としたシミュレーションと実機実験で有効性を示した。
- トランスポーターネットワーク:視覚世界を再配置するロボットマニピュレーションマニピュレーション2020/10/1
深層特徴を空間的に再配置して視覚入力からロボット動作の変位を推論するシンプルなアーキテクチャを提案し、物体の仮定なしに高いサンプル効率で積み木やロープ操作などを学習できることを示した。
- プレイデータから潜在プランを自己教師あり学習するロボット制御模倣学習2019/3/1
人間の遠隔操作プレイデータを自己教師あり学習で潜在空間に整理し、テスト時に特定の目標へ再利用するPlay-LMPを提案。ラベルなしプレイから学習したモデルは、18の視覚的マニピュレーションタスクで専門家訓練ポリシーを大幅に上回り、摂動に頑健で再試行行動も示す。
- 視覚観察から行動可能な表現を学習する表現学習2018/8/1
複数フレームを同時に埋め込むことで位置と速度をより正確に符号化する自己教師あり表現学習を提案し、その埋め込みのみを入力としてPPOで連続制御方策を学習できることを示した。
- 粒状体マニピュレーションの学習マニピュレーション2017/9/1
ロボットによる粒状体のすくい・放出動作の力学を予測する複数のモデルを比較し、ドメイン特化型CNNが最も高精度で、物理力学を明示的に予測することで方策性能が向上することを示した。
