Ayzaan Wahid
収録論文 22本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Gemini Robotics 1.5:高度な身体性推論・思考・動作転移で汎用ロボットの最前線を押し広げるVLA2025/10/1
異種ロボットデータから学ぶ動作転移機構と自然言語での多段階推論を組み合わせたVLAモデルと、身体性推論に特化したモデルを発表し、複雑な多段階タスクの実行と解釈性を向上させた。
- 自己改善する身体性基盤モデルVLA2025/9/1
ロボット基盤モデルの事後学習を2段階(行動クローン+残りステップ予測のSFT、その後自己改善)で行い、人手を最小限に自律的なスキル獲得と高い成功率を実現した研究。
- Gemini Robotics:AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- 相互情報量推定によるロボットデモデータの品質選別模倣学習2025/2/1
ロボットの模倣学習データについて、状態と行動の相互情報量への各軌道の寄与をVAE埋め込みとk近傍推定で評価し、デモの品質を選別する手法を提案した。
- RoPEを超えて:STRINGによる2D・3D位置エンコーディングの改善VLA2025/2/1
大規模言語モデルで広く使われるRotary Position Encodingsを統一的な理論枠組みで拡張し、任意次元のトークン座標に対して厳密な並進不変性を保ちつつ低計算コストで2D・3D位置エンコーディングを実現するSTRINGを提案。Vision Transformerに統合し、オープンボキャブラリ物体検出やロボティクス制御で性能向上を示した。
- 視覚言語モデルは文脈内価値学習器であるVLA2024/11/1
視覚言語モデルにシャッフルした動画フレームの時系列順序を予測させることで、ロボットやタスク固有の訓練なしに300以上の実世界タスクの進捗を推定できる汎用価値関数を実現した。
- ALOHA Unleashed:ロボット巧みさのためのシンプルなレシピマニピュレーション2024/10/1
ALOHA 2プラットフォームでの大規模データ収集とDiffusion Policyを組み合わせることで、変形物体や複雑な接触を伴う両手巧み操作タスクを模倣学習で高精度に実現できることを示した研究。
- ALOHA 2:両腕テレオペレーション向けの改良型低コストハードウェアテレオペレーション2024/5/1
両腕マニピュレーション研究を加速するため、低コストで堅牢なテレオペレーション用ハードウェアALOHA 2を開発し、設計とMuJoCoモデルをオープンソース化した。
- Vid2Robot: クロスアテンションTransformerによる動画条件付きエンドツーエンド方策学習VLA2024/3/1
人間の操作動画を入力として、クロスアテンションTransformerでロボットの行動を生成するエンドツーエンド方策を提案し、実機で従来手法を20%以上上回る性能と物体間の動作転移を実現した。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- 視覚言語モデルによる指示拡張を用いたロボットスキル獲得VLA2022/11/1
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
- 対話型言語:ロボットとリアルタイムに対話するVLA2022/10/1
数十万件の言語注釈付き軌道データで行動クローニングを行い、リアルタイムの自然言語指示に応じてロボットを操作するフレームワークを構築し、データセットやベンチマークを公開した。
- 物体認識表現を用いたマルチオブジェクト環境での視覚運動制御マニピュレーション2022/5/1
物体を意識した自己教師あり表現学習により、複数物体が存在する環境でのロボット制御方策を少ないデータで効率的に学習する手法を提案し、従来手法を上回る性能を示した。
- 暗黙的モデルによる行動クローニング模倣学習2021/9/1
エネルギー-basedモデルを用いた暗黙的行動クローニングが、明示的モデルより優れることを示し、D4RLや実機の接触タスクで有効性を実証した論文。
- トランスポーターネットワーク:視覚世界を再配置するロボットマニピュレーションマニピュレーション2020/10/1
深層特徴を空間的に再配置して視覚入力からロボット動作の変位を推論するシンプルなアーキテクチャを提案し、物体の仮定なしに高いサンプル効率で積み木やロープ操作などを学習できることを示した。
- 分散Soft Actor-Criticによる物体条件付き探索の学習ナビゲーション2020/7/1
分散型Soft Actor-Criticを用いて、未知の実在住宅環境で指定物体を探索する物体誘導ナビゲーションポリシーを学習した研究。
- 実世界向け長距離ニューラルナビゲーションポリシーナビゲーション2019/3/1
環境スキャンから高レベル計画を学習し、低レベルポリシーと組み合わせて実オフィスで長距離ナビゲーションを実現した。SLAMベース手法を上回る成功率0.80を達成。
