Karol Hausman
収録論文 53本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- π*0.6:経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- GenCHiP: 高精度・接触リッチなマニピュレーションタスクのためのロボットポリシーコード生成マニピュレーション2024/4/1
LLMによるロボットポリシーコード生成を、接触力や剛性の制約を考慮した行動空間の再パラメータ化により高精度・接触リッチなタスクへ拡張し、FMBやNISTタスクボードで成功率を大幅に改善した。
- RT-Sketch: 手描きスケッチによる目標条件付き模倣学習模倣学習2024/3/1
手描きスケッチを目標指定に用いる操作ポリシーを提案し、言語や画像条件よりも曖昧さや視覚的妨害に頑健であることを示した。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- ロボティクスにおける基盤モデル:応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- SARA-RT: 自己適応型ロバストアテンションによるロボティクストランスフォーマーのスケーリングVLA2023/12/1
ロボット搭載向けに、事前学習済みまたは微調整済みのトランスフォーマーポリシーを線形アテンションに変換する「アップトレーニング」を提案し、RT-2や点群トランスフォーマーを高速化した。
- 強化学習における転移の基礎:知識モダリティの分類体系転移学習2023/12/1
強化学習で知識を転移する際の様々な形態(ダイナミクス、報酬、価値関数、方策、データ)を分類し、それぞれの特性や転移メカニズムを整理したサーベイ論文。
- コードの連鎖:言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- ロバストなマニピュレーションに有効な事前学習済み視覚表現の特性マニピュレーション2023/12/1
15の事前学習済み視覚モデルを比較し、マニピュレーションの分布シフトに対するロバスト性を決める要因を分析した。ViTでは創発的なセグメンテーション能力が分布外汎化の強い予測因子であることを示した。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- RoboVQA:ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- Q-Transformer:自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 大規模深層強化学習:オフィスビルでの移動マニピュレータ群による廃棄物仕分けマニピュレーション2023/5/1
実世界データとシミュレーションを組み合わせた深層強化学習により、23台の移動マニピュレータがオフィスビルでリサイクル品とゴミを仕分けるシステムを構築し、大規模に評価した。
- グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- 事前学習済み視覚言語モデルを用いたオープンワールド物体マニピュレーションマニピュレーション2023/3/1
事前学習済み視覚言語モデルをロボット政策に接続し、未見の物体カテゴリや環境でも指示に従って物体を操作できる手法MOOを開発した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- 意味的に想像された経験によるロボット学習のスケーリングマニピュレーション2023/2/1
テキストから画像を生成する拡散モデルを使い、既存のロボット操作データセットに多様な物体や背景を描き加えるデータ拡張手法ROSIEを提案。実世界実験で未見の物体やタスクへの汎化性能と外乱への頑健性が向上することを示した。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- 視覚言語モデルによる指示拡張を用いたロボットスキル獲得VLA2022/11/1
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
- コードをポリシーとして:身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- 異なる制御周波数でのオフライン強化学習オフライン強化学習2022/7/1
制御周波数が異なるオフラインデータを混ぜて強化学習する際の問題を分析し、NステップリターンのNを離散化サイズに応じて調整することで学習を安定化させる手法を提案した。
- 言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- デモンストレーションで初期化したマルチタスク強化学習による自律練習マニピュレーション2022/3/1
事前データでマルチタスク強化学習をブートストラップし、リセットを最小限に抑えつつロボットが自律的に練習して長期的なタスクを解けるようにした研究。
- オフライン強化学習におけるラベルなしデータの活用法オフラインRL2022/2/1
ラベルなしデータに報酬ゼロを付与する単純な手法が、報酬モデル学習なしでも理論・実験的に有効であることを示し、その条件と改善策を明らかにした論文。
- 自律強化学習:形式化とベンチマーク強化学習2021/12/1
試行間のリセットを人間が行わない自律的な強化学習の枠組みを定式化し、多様なタスクを含むシミュレーションベンチマークEARLを提案した論文。既存手法が介入最小化で苦戦することを示す。
- AW-Opt:模倣と強化学習を大規模に統合してロボット技能を学習する模倣学習+強化学習2021/11/1
アドバンテージ重み付き回帰とQT-Optを組み合わせ、デモンストレーションと多様な事前データを活用して実世界ロボット技能をスケーラブルに学習する手法AW-Optを提案・検証した論文。
- マルチタスクオフライン強化学習のための保守的データ共有オフラインRL2021/9/1
複数タスクのオフラインデータを混ぜると分布シフトが悪化する問題に対し、タスク毎の改善度に基づいてデータを振り分ける保守的データ共有(CDS)を提案し、移動・ナビゲーション・視覚マニピュレーションで有効性を示した論文。
- サブゴールカリキュラムによる自律強化学習強化学習2021/7/1
毎試行のリセットを不要にし、初期状態のカリキュラムを自動生成してエージェントが容易なタスクから難しいタスクへと学習できるVaPRLを提案した論文。
- MT-Opt:大規模継続的マルチタスクロボット強化学習マルチタスク強化学習2021/4/1
複数ロボットで探索・経験・表現を共有しながら多様なタスクを同時に学習する継続的マルチタスク強化学習システムMT-Optを提案し、実機12タスクで有効性を示した。
- 実行可能モデル:ロボットスキルの教師なしオフライン強化学習オフライン強化学習2021/4/1
報酬なしのオフラインデータから、任意の目標状態に到達するスキルをゴール条件付きQ学習と後知恵リラベリングで学習する手法を提案し、実ロボットで未知の場面や物体への汎化、長期目標の連鎖到達を実現した。
- 信頼度付きグリッドマッピングマッピング2020/6/1
各ボクセルの占有度に信頼度を付与し、前方センサモデルから導出可能なセンサ原因モデルとCRMフィルタでオンライン3Dグリッドマップを構築する手法を提案。衝突リスク評価と運動計画に一貫した信頼度を提供する。
- 長期タスクを逐次的な相互作用の風景としてモデル化タスク計画2020/6/1
実演動画からサブタスク間の依存関係と遷移を学習し、画像観測から行動記号を予測して長期の物体操作タスクを計画・実行する深層学習手法を提案した。
- 動きながら考える:並行制御による深層強化学習強化学習2020/4/1
行動の実行中に次の行動を決定する並行制御問題に対し、連続時間ベルマン方程式を遅延考慮で離散化する強化学習手法を提案し、ロボット把持タスクで有効性を示した。
- 学習を止めない:ロボット強化学習におけるファインチューニングの有効性マニピュレーション2020/4/1
強化学習で事前学習した視覚ベースのマニピュレーションポリシーを、背景・物体・照明・ロボット形状の変化に対してオフポリシーRLでファインチューニングし、ゼロから学習する0.2%未満のデータで適応できることを示した論文。
- オフポリシー強化学習による実世界での多様なロボットスキルの創発教師なし強化学習2020/4/1
報酬なしで多様なスキルを獲得するオフポリシー型の教師なし強化学習手法を提案し、実機の四足ロボットで多様な歩容や向きの移動スキルが自然に創発することを示した。
- マルチタスク学習のための勾配外科手術マルチタスク学習2020/1/1
マルチタスク学習でタスク間の勾配が干渉する問題を特定し、競合する勾配を射影で取り除く手法を提案して効率と性能を改善した。
- リレーポリシー学習:模倣と強化学習による長期タスクの解決マニピュレーション2019/10/1
模倣学習でゴール条件付き階層ポリシーを生成し、強化学習で微調整することで、キッチン環境の多段階・長期マニピュレーションタスクを解く手法を提案した。
- Meta-World:マルチタスク・メタ強化学習のためのベンチマークメタ強化学習2019/10/1
50種類のロボット操作タスクからなるオープンソースのシミュレーションベンチマークを提案し、7つの最先端メタRL・マルチタスクRL手法を評価した。
- リスク認識型視覚ロボット把持のための分位点QT-Optマニピュレーション2019/10/1
連続行動空間向け分散型Q学習の分布版Q2-Optを提案し、視覚ベースのロボット把持タスクで従来より高い成功率とサンプル効率を示すとともに、リスク歪み指標によるリスク管理の可能性を検証した。
- ダイナミクスを考慮したスキルの教師なし発見スキル発見2019/7/1
予測しやすい結果をもたらすスキルを教師なしで発見し、そのダイナミクスを同時に学習するDADSを提案。潜在空間でのゼロショット計画が従来のMBRLや目標条件付きRLを上回ることを示した。
- シミュレータ予測制御:学習済みタスク表現とMPCによるゼロショット汎化とスキル系列化sim2real2018/10/1
シミュレーションで学習したスキル埋め込みと条件付き方策を実機に転送し、シミュレータ内で方策を並列実行するMPCで未知タスクをゼロショットで遂行する手法を提案。
- 再利用可能なスキル合成によるシミュレーションから実機への転移のスケーリングsim2real2018/9/1
低レベルスキルを多様かつ再利用可能な形で学習し、スキル埋め込みで組み合わせることで、実機での学習時間をほぼゼロに高レベルタスクを達成するsim2real手法を提案。
- 生成的敵対ネットワークを用いた非構造デモンストレーションからのマルチモーダル模倣学習模倣学習2017/5/1
ラベルなし・非構造のデモンストレーションからスキル分割と模倣を同時に学習し、単一のマルチモーダル方策で複数タスクを模倣できるフレームワークを提案した。
- モデルベースとモデルフリーの更新を統合した軌道中心型強化学習強化学習2017/3/1
LQRベースのモデルベース手法とPI2のモデルフリー枠組みを組み合わせ、深層政策の学習にも拡張して、マニピュレーションタスクを高いサンプル効率で解く手法を提案した。
- 自己校正のための可観測性を考慮した軌道最適化:UAVへの応用軌道最適化2016/4/1
システム状態の可観測性を評価し、自己校正の収束を早める制御入力を導く軌道最適化手法を提案。シミュレーションのクアッドロータで共分散ベース手法より約80倍高速かつ高精度な校正を実現した。
- インタラクティブ知覚:知覚における行動と行動における知覚の活用インタラクティブ知覚2016/4/1
環境との相互作用が知覚を促進するという「インタラクティブ知覚」の原理を提唱し、既存研究を分類・分析して応用例と未解決課題をまとめたサーベイ論文。
