Ted Xiao
収録論文 39本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- VeoワールドシミュレータによるGeminiロボティクスポリシーの評価sim2real2025/12/1
最先端の動画生成モデルVeoを基盤とした生成評価システムを構築し、ロボットポリシーの通常性能から分布外汎化、物理・意味的安全性までをシミュレーションで評価できることを示した。
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- Robo-DM: 大規模ロボットデータセットのためのデータ管理データ管理2025/5/1
ロボット軌道データをEBML形式で効率的に圧縮・管理し、学習時の読み込みを高速化するオープンソースのクラウド型データ管理ツールキットを提案。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- RT-Affordance: ロボットマニピュレーションのための汎用中間表現としてのアフォーダンスマニピュレーション2024/11/1
タスクの要所でのロボット姿勢を表すアフォーダンスを中間表現として用い、言語指示からアフォーダンス計画を生成して操作方策を条件付ける階層モデルを提案し、新規タスクで既存手法を50%以上上回る性能を示した。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- STEER: 密な言語グラウンディングによる柔軟なロボットマニピュレーションマニピュレーション2024/11/1
自然言語で表現された基本的な操作スキルを密なアノテーションで学習し、それらを組み合わせて未見の状況や新規タスクに適応できるロボット学習フレームワークSTEERを提案。
- Gen2Act: 人間動画生成を活用した汎用ロボットマニピュレーションマニピュレーション2024/9/1
ウェブデータで学習した人間動画生成モデルを使い、生成された動画を条件にロボット方策を学習することで、未見物体や新規動作への汎化を実現した。
- OpenVLA: オープンソースの視覚-言語-行動モデルVLA2024/6/1
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- Octo: オープンソースの汎用ロボットポリシーVLA2024/5/1
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
- RT-Sketch: 手描きスケッチによる目標条件付き模倣学習模倣学習2024/3/1
手描きスケッチを目標指定に用いる操作ポリシーを提案し、言語や画像条件よりも曖昧さや視覚的妨害に頑健であることを示した。
- 合成的一般化を活用したロボットマニピュレーションの効率的データ収集マニピュレーション2024/3/1
視覚模倣学習ポリシーが環境要因を合成できることを実証し、その合成能力を活かした効率的なデータ収集戦略を提案。実機で77.5%の成功率を達成。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- RT-H: 言語による行動階層VLA2024/3/1
低レベル動作を「腕を前に動かす」のような言語フレーズで表現し、タスクと行動の間に言語動作を介在させることで、多様なタスク間でデータを共有し、人間の言語介入による修正も可能にする模倣学習手法を提案。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- 言語と行動の橋渡し:言語条件付きロボットマニピュレーションのサーベイマニピュレーション2023/12/1
自然言語指示でロボットを操作する研究を、言語の使われ方(状態評価・方策条件・認知計画・統合VLA)で分類し、最新手法と課題を整理したサーベイ。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 物理的常識を備えた視覚言語モデルによるロボットマニピュレーションマニピュレーション2023/9/1
家庭用品の物理的概念(材質や壊れやすさなど)を注釈付けした大規模データセットPhysObjectsを構築し、視覚言語モデルを微調整することで、ロボットが物体の物理的性質を理解して操作計画を改善できるようにした。
- 視覚ロボットマニピュレーションにおける模倣学習の汎化ギャップの分解模倣学習2023/7/1
模倣学習による視覚ロボット操作において、照明やカメラ配置などの変動要因ごとに汎化の難しさを定量化し、シミュレーションと実機で一貫した難易度順序を明らかにした。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 言語から報酬へ:ロボットスキル合成の新パラダイムVLA2023/6/1
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
- 大規模深層強化学習:オフィスビルでの移動マニピュレータ群による廃棄物仕分けマニピュレーション2023/5/1
実世界データとシミュレーションを組み合わせた深層強化学習により、23台の移動マニピュレータがオフィスビルでリサイクル品とゴミを仕分けるシステムを構築し、大規模に評価した。
- 事前学習済み視覚言語モデルを用いたオープンワールド物体マニピュレーションマニピュレーション2023/3/1
事前学習済み視覚言語モデルをロボット政策に接続し、未見の物体カテゴリや環境でも指示に従って物体を操作できる手法MOOを開発した。
- 意味的に想像された経験によるロボット学習のスケーリングマニピュレーション2023/2/1
テキストから画像を生成する拡散モデルを使い、既存のロボット操作データセットに多様な物体や背景を描き加えるデータ拡張手法ROSIEを提案。実世界実験で未見の物体やタスクへの汎化性能と外乱への頑健性が向上することを示した。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- 視覚言語モデルによる指示拡張を用いたロボットスキル獲得VLA2022/11/1
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
- トークン・チューリングマシンVLA2022/11/1
外部メモリとしてトークン集合を持ち、Transformerで読み書きする自己回帰モデルを提案し、動画行動検出やロボット行動方策学習で有効性を示した。
- PI-QT-Opt: 予測情報による大規模マルチタスクロボット強化学習の改善マニピュレーション2022/10/1
過去と未来の相互情報である予測情報を補助損失としてQT-Optに組み込み、シミュレーションと実世界で最大297の視覚ベースマニピュレーションタスクを単一パラメータで学習し、成功率と未見タスクへのゼロショット転移を改善した。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- 言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- AW-Opt:模倣と強化学習を大規模に統合してロボット技能を学習する模倣学習+強化学習2021/11/1
アドバンテージ重み付き回帰とQT-Optを組み合わせ、デモンストレーションと多様な事前データを活用して実世界ロボット技能をスケーラブルに学習する手法AW-Optを提案・検証した論文。
- 価値関数空間:スキル中心の状態抽象化による長期的推論階層強化学習2021/11/1
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
- 実行可能モデル:ロボットスキルの教師なしオフライン強化学習オフライン強化学習2021/4/1
報酬なしのオフラインデータから、任意の目標状態に到達するスキルをゴール条件付きQ学習と後知恵リラベリングで学習する手法を提案し、実ロボットで未知の場面や物体への汎化、長期目標の連鎖到達を実現した。
- 動きながら考える:並行制御による深層強化学習強化学習2020/4/1
行動の実行中に次の行動を決定する並行制御問題に対し、連続時間ベルマン方程式を遅延考慮で離散化する強化学習手法を提案し、ロボット把持タスクで有効性を示した。
- プレイデータから潜在プランを自己教師あり学習するロボット制御模倣学習2019/3/1
人間の遠隔操作プレイデータを自己教師あり学習で潜在空間に整理し、テスト時に特定の目標へ再利用するPlay-LMPを提案。ラベルなしプレイから学習したモデルは、18の視覚的マニピュレーションタスクで専門家訓練ポリシーを大幅に上回り、摂動に頑健で再試行行動も示す。
