Karl Pertsch
収録論文 39本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- MEM: 視覚言語行動モデルのためのマルチスケール具現化メモリVLA2026/3/1
ロボットの長期タスク遂行のために、ビデオベースの短期記憶とテキストベースの長期記憶を組み合わせたマルチスケールメモリアーキテクチャを提案し、15分に及ぶ複雑なタスクを可能にした。
- 操縦可能な視覚-言語-行動ポリシーによる身体性推論と階層制御VLA2026/2/1
サブタスクや動作、ピクセル座標など多様な抽象度の合成コマンドでVLAを訓練し、VLMの知識を低レベル行動に反映させて汎化性能を高める手法を提案。
- RoboReward: ロボティクス向け汎用視覚言語報酬モデルVLA2026/1/1
実ロボットの大規模データセットから報酬モデル用データセットとベンチマークを構築し、4B/8Bの視覚言語報酬モデルを訓練。短期的なロボットタスクで大規模VLMを上回る性能を達成し、実機強化学習に適用した。
- 視覚-言語-行動モデルにおける人間からロボットへの転移の創発VLA2025/12/1
多様なロボットデータで事前学習したVLAモデルに人間の動画を共訓練すると、人間からロボットへのスキル転移が自然に生じることを示し、その要因が身体非依存の表現獲得にあると分析した。
- PolaRiS: 汎用ロボットポリシーのためのスケーラブルな実世界→シミュレーション評価sim2real2025/12/1
実世界の短い動画スキャンからニューラル再構成で高忠実度なシミュレーション環境を構築し、汎用ロボットポリシーを実世界と強く相関する形で評価できるようにしたフレームワーク。
- パラメータマージによる視覚-言語-行動ロボット方策の頑健なファインチューニングVLA2025/12/1
ファインチューニング時に事前学習済みモデルと重みを補間することで、汎用能力を保ちつつ新しいタスクを頑健に学習する手法を提案した。
- π*0.6：経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- RoboArena：汎用ロボットポリシーの分散型実世界評価ロボット評価/ベンチマーク2025/6/1
評価者ネットワークが自由にタスクと環境を選び、ペア比較の二重盲検評価を集約することで、汎用ロボットポリシーをスケーラブルかつ公平にランキングする手法を提案し、7機関・600以上の実機評価で有効性を示した。
- 知識を保護する視覚-言語-行動モデル：高速学習・高速推論・より良い汎化VLA2025/5/1
連続制御用のアクションエキスパートを組み込んだVLAモデルにおいて、学習速度と知識転移が損なわれる問題を分析し、VLMバックボーンを保護する学習手法を提案した。
- 効率的な身体性推論のための学習戦略VLA2025/5/1
ロボットのChain-of-Thought推論がなぜ有効かを分析し、軽量で高速な代替推論手法を提案した論文。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- AutoEval: 実世界における汎用ロボットマニピュレーションポリシーの自律評価マニピュレーション2025/3/1
ロボットポリシーの実世界評価を人手なしで24時間自律的に行うシステムAutoEvalを提案し、自動成功判定とシーンリセットにより人手による評価と近い結果が得られることを示した。
- Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従VLA2025/2/1
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- Re-Mix: 大規模模倣学習のためのデータ混合最適化模倣学習2024/8/1
ロボット基盤モデルの事前学習において、データセットの異なるサブセットの重み付けを分布ロバスト最適化で最適化する手法Re-Mixを提案し、Open X-Embodimentデータセットで均一重みより38%性能を向上させた。
- 身体性を伴う連鎖的思考推論によるロボット制御VLA2024/7/1
視覚言語行動モデルに、計画・サブタスク・動作・物体位置などの推論を段階的に行わせてから行動を予測するECoTを導入し、大規模データセット向けの合成訓練データ生成パイプラインを構築して成功率を向上させた。
- 視覚プロンプトによるアフォーダンス誘導強化学習強化学習2024/7/1
視覚言語モデルが推定するキーポイントのアフォーダンスを報酬に変換し、実世界の多様なマニピュレーションタスクで自律強化学習のサンプル効率を向上させる手法KAGIを提案。
- OpenVLA: オープンソースの視覚-言語-行動モデルVLA2024/6/1
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- Octo: オープンソースの汎用ロボットポリシーVLA2024/5/1
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- ロボットに怒鳴って教える：言語訂正によるオンザフライ改善VLA2024/3/1
人間がロボットに言語で訂正を与えることで、高レベル方策がリアルタイムに適応し、反復学習を通じて長期的タスクの成功率を向上させるフレームワークを提案。
- LiFT: 基盤モデルを教師とする教師なし強化学習強化学習2023/12/1
大規模言語モデルが環境に基づくタスク指示を生成し、視覚言語モデルが報酬を与えることで、人間のフィードバックなしに意味のあるスキルを学習する枠組みを提案。MineDojo環境で有効性を示す。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- RoboCLIP: 実演1回でロボット方策を学習模倣学習2023/10/1
動画またはテキストの実演1つからVLMで報酬を生成し、ロボット操作タスクを強化学習で学習する手法を提案。
- 自らのスキルをブートストラップせよ：大規模言語モデルのガイダンスによる新規タスクの学習VLA2023/10/1
LLMのガイダンスのもとで基本スキルを連鎖させ、報酬なしで新たな長期タスクを解けるスキルライブラリを自動構築する手法BOSSを提案。家庭環境での未見タスクのゼロショット実行で既存手法を上回る。
- Q-Transformer：自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- SPRINT: 言語指示の再ラベリングによるスケーラブルな方策事前学習VLA2023/6/1
大規模言語モデルによる指示の再ラベリングとオフライン強化学習によるスキル連鎖で、人手をかけずに多様なスキルを事前学習し、新しい長期的タスクの学習を高速化する手法を提案。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- 意味的スキル模倣によるクロスドメイン転移模倣学習2022/12/1
人間の動画など別ドメインのデモから「電子レンジを開ける」といった意味的スキルの系列を模倣し、ロボットの強化学習を加速する手法を提案。実世界の人間動画3分未満で長期的な調理タスクを学習できる。
- PATO: ポリシー支援型遠隔操作によるスケーラブルなロボットデータ収集遠隔操作2022/12/1
学習した支援ポリシーで遠隔操作の一部を自動化し、人間は不確実なときだけ介入する仕組みを提案。実機とシミュレーションで作業負担を減らしつつデータ収集効率を向上させ、1人で複数ロボットを並行操作できることを示した。
- タスク誘導表現学習による視覚的複雑環境での意思決定効率化表現学習2022/4/1
視覚的に複雑で妨害物が多い環境において、報酬やデモなどのタスク情報を活用してタスク関連部分に注目する表現学習手法を評価し、教師なし表現学習より学習効率が最大2倍向上することを示した。
- 学習済みスキルを活用したデモンストレーション誘導強化学習強化学習2021/7/1
過去の経験から再利用可能なスキルを学習し、デモンストレーションをプリミティブ動作ではなくスキル単位で追従することで、長期タスクの強化学習を効率化する手法SkiLDを提案した論文。
- 動作計画を統合した強化学習による障害物環境でのロボットマニピュレーションマニピュレーション2020/10/1
強化学習の行動空間に動作計画器の長期的計画能力を組み込み、行動の大きさに応じて直接実行と計画呼び出しを滑らかに切り替えるMoPA-RLを提案し、学習効率と安全性の向上を示した。
- スキル事前分布を学習して強化学習を加速する強化学習2020/10/1
オフライン経験からスキルの埋め込み空間とスキル事前分布を同時に学習し、下流の強化学習でその事前分布を活用して効率的なスキル転移を実現した研究。
- 目標条件付き階層予測器による長期視覚計画視覚計画2020/6/1
目標情報を考慮した潜在空間予測器を階層的に組み合わせ、粗から細へと軌道を最適化することで、従来より長い視覚計画タスクを解けるようにした研究。
