Pierre Sermanet
収録論文 27本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- SF作品からロボットの倫理を学ぶ：SciFi-BenchmarkAI倫理2025/3/1
824のSF作品でAIやロボットが下した重要な決断を収集し、LLMの人間価値への整合性を測るベンチマークを構築。憲法生成により倫理的行動を促進できることを示した。
- Gemini Robotics：AIを物理世界へVLA2025/3/1
Gemini 2.0を基盤に、ロボットを直接制御できる汎用VLAモデル「Gemini Robotics」と、空間・時間理解を強化した推論モデル「Gemini Robotics-ER」を提案した論文。
- ロボット憲法の生成と意味的安全性のためのベンチマーク安全性2025/3/1
視覚言語モデルを搭載したロボットの意味的安全性を評価する大規模ベンチマークASIMOVを公開し、実世界データからロボット憲法を自動生成する枠組みを提案した。
- 予測的レッドチーミング：ロボットを壊さずにポリシーを破るsim2real2025/2/1
生成画像編集とポリシー固有の異常検知器を用いて、視覚運動ポリシーの環境要因に対する脆弱性をハードウェア評価なしで予測するRoboARTを提案し、予測精度と的を絞ったデータ収集による性能向上を実証した。
- Vid2Robot: クロスアテンションTransformerによる動画条件付きエンドツーエンド方策学習VLA2024/3/1
人間の操作動画を入力として、クロスアテンションTransformerでロボットの行動を生成するエンドツーエンド方策を提案し、実機で従来手法を20%以上上回る性能と物体間の動作転移を実現した。
- RT-H: 言語による行動階層VLA2024/3/1
低レベル動作を「腕を前に動かす」のような言語フレーズで表現し、タスクと行動の間に言語動作を介在させることで、多様なタスク間でデータを共有し、人間の言語介入による修正も可能にする模倣学習手法を提案。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- RoboVQA：ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な（映像, テキスト）ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- ロボット卓球：高速学習システムのケーススタディsim2real2023/9/1
人間と数百回のラリーができる卓球ロボットの学習システムを詳細に解説し、遅延対策や分布シフト、知覚の堅牢性、行動空間の選択などを実験的に検証した。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- 視覚言語モデルによる指示拡張を用いたロボットスキル獲得VLA2022/11/1
CLIPなどの視覚言語モデルを自動ラベラーとして活用し、言語注釈のない大規模ロボット実演データに指示を付与することで、言語条件付き模倣学習ポリシーの新たなスキル獲得と汎化を可能にした。
- GoalsEye: 実機ロボットによる高速高精度卓球の学習模倣学習2022/10/1
反復模倣学習を用いて、実機ロボットで高速・高精度な卓球の目標指向制御を実現し、アマチュア人間と同等以上の性能を示した。
- 内なる独白：言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- 物体認識表現を用いたマルチオブジェクト環境での視覚運動制御マニピュレーション2022/5/1
物体を意識した自己教師あり表現学習により、複数物体が存在する環境でのロボット制御方策を少ないデータで効率的に学習する手法を提案し、従来手法を上回る性能を示した。
- 言う通りでなく、できる通りに：ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- 広域探索と局所方策を組み合わせた長期的タスク計画のための木探索タスク計画2020/10/1
RRT風の広域木探索とタスク条件付き学習方策を組み合わせ、長期的なタスク計画を効率的に行う手法BELTを提案した論文。
- 人間の遊びを模倣してロボットが遊びを学習する模倣学習2020/6/1
少量の人間のテレオペ遊びデータから行動クローニングで大量の遊びデータを自律生成し、それを追加学習に使うことで汎用ゴール条件付き方策の性能を向上させた。
- Motion2Vec：手術動画からの半教師あり表現学習表現学習2020/6/1
手術動画を動作セグメントに分割し、Siameseネットワークの距離学習で動作中心の埋め込み表現を半教師ありで学習する手法を提案。JIGSAWSデータセットで縫合動作の模倣に応用し、セグメンテーション精度85.5%を達成した。
- 自由形式の言語条件付き模倣学習言語条件付き模倣学習2020/5/1
ピクセル知覚・言語理解・多タスク連続制御を単一ネットワークで学習し、ラベルなし実演データを活用して自然言語指示で多様なロボット操作を実現した。
- オンライン物体表現のための対照学習自己教師あり学習2019/6/1
単眼動画からラベルなしで物体属性を学習する対照学習手法を提案し、ロボットが自己収集データで訓練して物体指差しを実現した。
- プレイデータから潜在プランを自己教師あり学習するロボット制御模倣学習2019/3/1
人間の遠隔操作プレイデータを自己教師あり学習で潜在空間に整理し、テスト時に特定の目標へ再利用するPlay-LMPを提案。ラベルなしプレイから学習したモデルは、18の視覚的マニピュレーションタスクで専門家訓練ポリシーを大幅に上回り、摂動に頑健で再試行行動も示す。
- 視覚観察から行動可能な表現を学習する表現学習2018/8/1
複数フレームを同時に埋め込むことで位置と速度をより正確に符号化する自己教師あり表現学習を提案し、その埋め込みのみを入力としてPPOで連続制御方策を学習できることを示した。
- 時間対照学習：動画からの自己教師あり学習自己教師あり学習2017/4/1
複数視点のラベルなし動画から、視点不変で時間的に変化する特徴を時間対照損失で学習し、ロボットの人間動作模倣や報酬関数として活用できることを示した論文。
- 教師なし知覚報酬による模倣学習模倣学習2016/12/1
少数の実演から深層モデルの視覚特徴を用いて中間ステップの知覚報酬を自動推定し、実世界タスクの強化学習を可能にする手法を提案した。
