Jesse Zhang
University of Washington
収録論文 18本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 記述と評価の分離でVLMをゼロショット報酬モデル化するD&AVLM報酬モデル2026/11/2
VLMによるロボット動画の進捗推定を『客観的な記述』と『ルーブリック評価』に分離し、確認バイアスを抑えて失敗を正しく罰するゼロショット報酬モデルを実現した。
- Flex-π: 計算柔軟性を備えたマルチストリーム世界行動モデルVLA2026/8/1
既存の世界行動モデルはRGBのみを予測するが、Flex-πは凍結したビデオ生成VAEが3D点群も符号化できることを発見し、3D幾何学とオブジェクト中心のセマンティクスを追加で学習。ストリームごとのドロップアウトにより、単一のチェックポイントで高速な行動のみから完全な共同生成まで柔軟に動作し、実世界の両腕操作タスクで高い性能を達成。
- OGPO: 生成制御ポリシーのサンプル効率的な完全ファインチューニングロボット学習2026/5/1
拡散やフローベースの生成制御ポリシーを、オフポリシーな批判ネットワークとPPO目的関数を用いて効率的にファインチューニングする手法OGPOを提案し、操作タスクで最先端の性能を達成した。
- TMRL: 拡散タイムステップ変調による事前学習が効率的なポリシー微調整のための探索を可能にするロボット学習/強化学習2026/5/1
ロボットポリシーの事前学習と強化学習による微調整を橋渡しする統一フレームワークを提案。事前学習時に拡散ノイズを注入し、微調整時にタイムステップを動的調整することで探索を制御し、複雑な操作タスクの実機微調整を1時間以内で成功させる。
- Robometer:軌道比較による汎用ロボット報酬モデルのスケーリング報酬モデリング2026/3/1
軌道内の進捗監督と軌道間の選好監督を組み合わせた報酬モデルを提案し、100万軌道のデータセットで学習することで、汎用性の高い報酬関数を実現した。
- PEEK: ロボットマニピュレーションポリシーのゼロショット汎化のための誘導と最小画像表現マニピュレーション2025/9/1
VLMを使ってエンドエフェクタ経路とタスク関連マスクを予測し、ポリシーに必要な最小限の手がかりを与えることで、シミュレーションのみで訓練したポリシーの実世界ゼロショット汎化を大幅に向上させる手法を提案。
- ReWiND: 言語ガイド報酬で新規デモなしにロボット方策を教えるVLA2025/5/1
言語指示から報酬関数を学習し、オフラインRLで事前学習した方策を新規タスクに少ない試行で適応させるフレームワークを提案。
- 手の軌道検索によるロボットの高速適応マニピュレーション2025/5/1
人間の手のデモンストレーションからロボットの動作データを検索し、4分以内に新しいマニピュレーションタスクを学習する手法を提案。
- HAMSTER: オープンワールドロボット操作のための階層型行動モデルVLA2025/2/1
高レベルVLMが粗い2D経路を予測し、低レベル3D制御ポリシーが精密操作を行う階層型VLAモデルを提案。非ドメインデータを活用し、実機でのオープンワールド汎化を実現する。
- EXTRACT: オフラインデータから転移可能なロボットスキルを抽出する効率的な方策学習スキルベース強化学習2024/6/1
事前学習済み視覚言語モデルを用いてオフラインデータから意味のあるスキルを連続パラメータ付きで抽出し、新しいロボット操作タスクを効率的に学習する手法を提案。
- RL-VLM-F: 視覚言語基盤モデルのフィードバックによる強化学習VLA2024/2/1
タスクのテキスト説明とエージェントの視覚観測のみから、視覚言語基盤モデルに画像ペアの選好を問い合わせて報酬関数を自動生成し、人間の監督なしに様々なタスクを学習する手法を提案。
- LiFT: 基盤モデルを教師とする教師なし強化学習強化学習2023/12/1
大規模言語モデルが環境に基づくタスク指示を生成し、視覚言語モデルが報酬を与えることで、人間のフィードバックなしに意味のあるスキルを学習する枠組みを提案。MineDojo環境で有効性を示す。
- RoboCLIP: 実演1回でロボット方策を学習模倣学習2023/10/1
動画またはテキストの実演1つからVLMで報酬を生成し、ロボット操作タスクを強化学習で学習する手法を提案。
- 自らのスキルをブートストラップせよ:大規模言語モデルのガイダンスによる新規タスクの学習VLA2023/10/1
LLMのガイダンスのもとで基本スキルを連鎖させ、報酬なしで新たな長期タスクを解けるスキルライブラリを自動構築する手法BOSSを提案。家庭環境での未見タスクのゼロショット実行で既存手法を上回る。
- TAIL: 大規模事前学習モデルを用いた模倣学習のためのタスク特化型アダプタ模倣学習2023/10/1
大規模事前学習モデルを新しいロボット制御タスクに効率的に適応させるため、LoRAなどのパラメータ効率の良いファインチューニング手法を比較し、TAILフレームワークを提案した論文。
- SPRINT: 言語指示の再ラベリングによるスケーラブルな方策事前学習VLA2023/6/1
大規模言語モデルによる指示の再ラベリングとオフライン強化学習によるスキル連鎖で、人手をかけずに多様なスキルを事前学習し、新しい長期的タスクの学習を高速化する手法を提案。
- 過去の経験と新スキルを繋ぐオフライン強化学習オフライン強化学習2020/10/1
過去のタスクや無監督探索で得たデータを動的計画法で再利用し、新タスクのスキルを拡張するオフラインRL手法を提案。4つのロボットスキルを連続で組み合わせる難タスクで有効性を示した。
- REPLAB:ロボット学習のための再現可能な低コストアームベンチマークプラットフォームベンチマーク/マニピュレーション2019/5/1
約2000ドルで組み立てられる小型ロボットアーム・カメラ・作業空間のハードウェアスタックを提案し、把持タスクのベンチマーク(タスク定義・評価プロトコル・指標・92k試行データセット)を構築して既存手法のベースラインを評価した。
