Yao Lu
University of Freiburg
収録論文 29本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- WayPOP: パノラマ型オープンセット・パノプティック追跡ベンチマークオープンセット知覚/ベンチマーク2026/11/4
Waymoの実走行データに未知物体を3D合成して、多カメラ時系列で未知物体を一貫してセグメンテーション・追跡できるかを評価する新ベンチマークを構築した。
- Hyp2Former: オープンセットパノプティックセグメンテーションのための階層認識双曲埋め込みセグメンテーション2026/5/1
既知カテゴリの階層構造を双曲空間で学習し、未知物体を高次概念に近づけて検出するオープンセットパノプティックセグメンテーション手法を提案。
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- ForeAct: 効率的な視覚的先読み計画でVLAを誘導するVLA2026/2/1
将来の観測画像とサブタスク記述を生成してVLAの視覚入力に追加するだけで、アーキテクチャ変更なしに実世界タスクの成功率を大幅に向上させる計画モジュールを提案。
- VLASH: 未来状態を考慮した非同期推論によるリアルタイムVLAVLA2025/12/1
ロボットの状態を前回の行動チャンクで先読みし、予測と実行の時間ずれを解消することで、追加コストなしにVLAの非同期推論を高速化・安定化する手法を提案。
- π*0.6:経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- EgoVLA:自己中心視点の人間動画から視覚-言語-行動モデルを学習VLA2025/7/1
一人称視点の人間動画でVLAモデルを訓練し、逆運動学とリターゲティングで人間の手の動きをロボット動作に変換、少数のロボット実演で微調整してロボットポリシーを獲得する手法を提案。
- CoT-VLA:視覚的思考連鎖推論を用いた視覚-言語-行動モデルVLA2025/3/1
将来の画像フレームを視覚的目標として自己回帰的に予測してから行動系列を生成することで、視覚的思考連鎖推論をVLAに組み込み、実世界タスクで17%の性能向上を達成した。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- SARA-RT: 自己適応型ロバストアテンションによるロボティクストランスフォーマーのスケーリングVLA2023/12/1
ロボット搭載向けに、事前学習済みまたは微調整済みのトランスフォーマーポリシーを線形アテンションに変換する「アップトレーニング」を提案し、RT-2や点群トランスフォーマーを高速化した。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- RoboVQA:ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- Waymax: 大規模自動運転研究のための高速データ駆動型シミュレータ自動運転シミュレーション2023/10/1
実世界の走行データを用いてマルチエージェントの自動運転シナリオを再現し、TPU/GPU上で大規模かつ高速にシミュレーションできるデータ駆動型シミュレータWaymaxを提案した論文。
- Q-Transformer:自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- Alexa、ロボットと遊ぼう:身体性AIにおける初のAlexa Prize SimBotチャレンジの紹介身体性AI2023/8/1
大学生チームがシミュレーション環境でタスクをこなすロボットアシスタントを競って開発するAlexa Prize SimBotチャレンジの概要と、参加チームの手法・教訓・性能分析をまとめた論文。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 大規模深層強化学習:オフィスビルでの移動マニピュレータ群による廃棄物仕分けマニピュレーション2023/5/1
実世界データとシミュレーションを組み合わせた深層強化学習により、23台の移動マニピュレータがオフィスビルでリサイクル品とゴミを仕分けるシステムを構築し、大規模に評価した。
- グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- 事前学習済み視覚言語モデルを用いたオープンワールド物体マニピュレーションマニピュレーション2023/3/1
事前学習済み視覚言語モデルをロボット政策に接続し、未見の物体カテゴリや環境でも指示に従って物体を操作できる手法MOOを開発した。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- トークン・チューリングマシンVLA2022/11/1
外部メモリとしてトークン集合を持ち、Transformerで読み書きする自己回帰モデルを提案し、動画行動検出やロボット行動方策学習で有効性を示した。
- PI-QT-Opt: 予測情報による大規模マルチタスクロボット強化学習の改善マニピュレーション2022/10/1
過去と未来の相互情報である予測情報を補助損失としてQT-Optに組み込み、シミュレーションと実世界で最大297の視覚ベースマニピュレーションタスクを単一パラメータで学習し、成功率と未見タスクへのゼロショット転移を改善した。
- 強化学習と全身軌道最適化によるロボットのテーブル拭きマニピュレーション2022/10/1
視覚観測からこぼれやパンくずの不確かな動態を考慮しつつ、強化学習で拭き動作を計画し、全身軌道最適化で安全な動作を実現する枠組みを提案した。
- 言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- AW-Opt:模倣と強化学習を大規模に統合してロボット技能を学習する模倣学習+強化学習2021/11/1
アドバンテージ重み付き回帰とQT-Optを組み合わせ、デモンストレーションと多様な事前データを活用して実世界ロボット技能をスケーラブルに学習する手法AW-Optを提案・検証した論文。
- 価値関数空間:スキル中心の状態抽象化による長期的推論階層強化学習2021/11/1
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
- 実行可能モデル:ロボットスキルの教師なしオフライン強化学習オフライン強化学習2021/4/1
報酬なしのオフラインデータから、任意の目標状態に到達するスキルをゴール条件付きQ学習と後知恵リラベリングで学習する手法を提案し、実ロボットで未知の場面や物体への汎化、長期目標の連鎖到達を実現した。
- ロボット学習のための視覚アーキテクチャ自動探索マニピュレーション2021/3/1
ロボットマニピュレーション学習において、低次元の行動入力と高次元の視覚入力を組み合わせるニューラルアーキテクチャを自動探索する手法を提案し、実機で把持性能を6%向上させた。
