Quan Vuong
収録論文 40本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- グリッパー認識型視覚言語行動モデルVLA2026/8/25
異なるグリッパー種別に応じた戦略を学習できるよう、5種類のグリッパーを含む大規模データセットと、専用トークナイザーとポリシールーティングを備えたモデルを提案した。
- SC3-Eval: 自己整合的なビデオ生成によるロボット基盤モデルの評価評価2026/6/1
ロボット操作ポリシーの実世界評価を、アクション条件付きビデオ世界モデルを用いてスケーラブルに代替する手法を提案。前方・逆方向ダイナミクス整合性、クロスビュー整合性、テスト時整合性の3つの整合性を課すことで、正確なポリシー評価を実現する。
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- Open-H-Embodiment:医療ロボティクスにおける基盤モデルを可能にする大規模データセット医療ロボティクス/データセット/基盤モデル2026/4/1
医療ロボットの自律化を妨げるデータ不足を解決するため、複数のロボットプラットフォームにわたる大規模な医療ロボットビデオと運動学データセットを公開し、基盤モデルの開発を実証した。
- MEM: 視覚言語行動モデルのためのマルチスケール具現化メモリVLA2026/3/1
ロボットの長期タスク遂行のために、ビデオベースの短期記憶とテキストベースの長期記憶を組み合わせたマルチスケールメモリアーキテクチャを提案し、15分に及ぶ複雑なタスクを可能にした。
- π、しかし飛ばす:VLAモデルの空中マニピュレーションへの物理誘導転移空中マニピュレーション/VLA2026/3/1
固定ベースのマニピュレータ向けに事前学習されたVLAモデルを空中プラットフォームへ転移させる際の「ダイナミクスギャップ」を、推論時のペイロード認識ガイダンスと合成データ生成で橋渡しし、空中ピックアンドプレースの成功率を向上させた。
- π*0.6:経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- 知識を保護する視覚-言語-行動モデル:高速学習・高速推論・より良い汎化VLA2025/5/1
連続制御用のアクションエキスパートを組み込んだVLAモデルにおいて、学習速度と知識転移が損なわれる問題を分析し、VLMバックボーンを保護する学習手法を提案した。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従VLA2025/2/1
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- 注目点を活用したハイブリッド模倣学習模倣学習2024/12/1
点群からタスクに関連する注目点を推定し、遠距離移動はウェイポイント、精密動作は手首画像からの密な動作で予測する模倣学習手法を提案。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- RoVi-Aug: ロボットと視点の拡張による異なる機体間のロボット学習sim2real2024/9/1
画像生成モデルでロボットの種類とカメラ視点を拡張し、未見のロボットや視点でもゼロショットで動く方策を学習する手法を提案。
- ネガティブプロンプト誘導を用いた言語駆動型6自由度把持検出マニピュレーション2024/7/1
自然言語の指示に基づき、散らかった点群の中から目的の物体を6自由度で把持する手法を提案。大規模データセットGrasp-Anything-6Dと、不要物体を避けるネガティブプロンプト誘導拡散モデルを導入した。
- OpenVLA: オープンソースの視覚-言語-行動モデルVLA2024/6/1
97万件の実機ロボット実演で学習した7BパラメータのオープンソースVLAモデルを提案し、閉源モデルRT-2-Xを上回る汎用マニピュレーション性能と効率的なファインチューニングを実現した。
- Octo: オープンソースの汎用ロボットポリシーVLA2024/5/1
80万件の軌道データで学習したTransformerベースの汎用ロボットマニピュレーションポリシーを提案し、言語や目標画像で指示でき、新しいセンサーや行動空間にも短時間でファインチューニング可能であることを示した。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- RT-Sketch: 手描きスケッチによる目標条件付き模倣学習模倣学習2024/3/1
手描きスケッチを目標指定に用いる操作ポリシーを提案し、言語や画像条件よりも曖昧さや視覚的妨害に頑健であることを示した。
- Vid2Robot: クロスアテンションTransformerによる動画条件付きエンドツーエンド方策学習VLA2024/3/1
人間の操作動画を入力として、クロスアテンションTransformerでロボットの行動を生成するエンドツーエンド方策を提案し、実機で従来手法を20%以上上回る性能と物体間の動作転移を実現した。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- Mirage: クロスペインティングによる異なるロボット間のゼロショット方策転移sim2real2024/2/1
実行時に目標ロボットをマスクして学習済みロボットを描き直す「クロスペインティング」により、異なるロボットアームやグリッパ間で視覚ベースの方策をゼロショット転移させる手法を提案。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 異なる身体を持つロボット間の学習限界を探る:操作とナビゲーションVLA2024/2/1
ナビゲーションと操作という異なるタスクのデータを同一の目標条件付きポリシーで共同学習させ、多様な機体間での転移や未知の機体へのゼロショット制御が可能かを検証した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- SARA-RT: 自己適応型ロバストアテンションによるロボティクストランスフォーマーのスケーリングVLA2023/12/1
ロボット搭載向けに、事前学習済みまたは微調整済みのトランスフォーマーポリシーを線形アテンションに変換する「アップトレーニング」を提案し、RT-2や点群トランスフォーマーを高速化した。
- RT-Trajectory: 軌道スケッチによるロボットタスクの汎化VLA2023/11/1
タスクを粗い軌道スケッチで表現し、それを条件にロボット方策を制御することで、言語条件付けでは難しい新規タスクへの汎化を実現する手法を提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- インターネット動画からの価値関数事前学習によるロボットオフライン強化学習オフライン強化学習2023/9/1
人間の動画データセット上で時間差分学習により価値関数を事前学習し、ロボットのオフライン強化学習に活用する手法V-PTRを提案。実機WidowXでのマニピュレーションタスクで従来手法を大きく上回る性能を示した。
- Q-Transformer:自己回帰的Q関数によるスケーラブルなオフライン強化学習オフライン強化学習2023/9/1
TransformerでQ関数を自己回帰的に表現し、大規模オフラインデータからマルチタスク方策を学習する手法を提案。実世界の多様なロボット操作タスクで既存手法を上回る性能を示した。
- BridgeData V2: 大規模ロボット学習のためのデータセット模倣学習2023/8/1
低コストロボットで24環境・6万軌道を収集した大規模多様データセットを公開し、模倣学習やオフライン強化学習の性能がデータ量とスキル多様性で向上することを示した。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- 事前学習済み視覚言語モデルを用いたオープンワールド物体マニピュレーションマニピュレーション2023/3/1
事前学習済み視覚言語モデルをロボット政策に接続し、未見の物体カテゴリや環境でも指示に従って物体を操作できる手法MOOを開発した。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- ニューラル表面再構成を用いたロバスト物体把持のためのReal2Sim2Real手法マニピュレーション2022/10/1
実世界の点群からニューラル表面再構成で高品質メッシュを作り、シミュレーションで把持ラベルを生成して把持ネットワークを学習し、実環境でロバストに把持するReal2Sim2Realパイプラインを提案。
- 単一RGB-Dカメラによる汎用ロボットマニピュレーションの遠隔操作遠隔操作2021/6/1
1台のRGB-Dカメラで人間の動きを捉え、布畳みやハンマー作業、3mmクリアランスのペグ挿しなど汎用作業を遠隔操作できるシステムを提案した論文。
- ロボットマニピュレーションのための機械学習サーベイマニピュレーション2021/1/1
ロボットマニピュレーションに機械学習を適用した近年の研究動向を、ロボティクス会議の論文調査から整理したサーベイ。
- 深層強化学習のための教師あり方策更新強化学習2018/5/1
制約付き最適化で近接方策空間の最適解を求め、教師あり回帰でパラメータ化方策に変換するサンプル効率の高い強化学習手法SPUを提案。
