Brian Ichter
収録論文 52本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- π0.7: 操縦可能な汎用ロボット基盤モデルと創発的能力VLA2026/4/1
多様なコンテキスト条件付けを用いて、未見環境での言語指示追従やゼロショットの身体汎化を実現するロボット基盤モデルπ0.7を提案した。
- MEM: 視覚言語行動モデルのためのマルチスケール具現化メモリVLA2026/3/1
ロボットの長期タスク遂行のために、ビデオベースの短期記憶とテキストベースの長期記憶を組み合わせたマルチスケールメモリアーキテクチャを提案し、15分に及ぶ複雑なタスクを可能にした。
- π*0.6:経験から学ぶVLAVLA2025/11/1
実世界での経験と人間の修正を活用した強化学習手法RECAPにより、洗濯物畳みや箱組み立て、エスプレッソ抽出などのタスクを高成功率で実行できる汎用VLAモデルπ*0.6を開発した。
- 知識を保護する視覚-言語-行動モデル:高速学習・高速推論・より良い汎化VLA2025/5/1
連続制御用のアクションエキスパートを組み込んだVLAモデルにおいて、学習速度と知識転移が損なわれる問題を分析し、VLMバックボーンを保護する学習手法を提案した。
- π0.5: オープンワールド汎化を実現する視覚-言語-行動モデルVLA2025/4/1
異種タスクの共同学習により、未知の家庭環境でもキッチンや寝室の掃除などの長期的で器用な操作を実行できるVLAモデルπ0.5を提案した。
- Hi Robot: 階層型視覚言語行動モデルによるオープンエンドな指示追従VLA2025/2/1
視覚言語モデルを階層的に用い、複雑な指示や実行中のフィードバックを解釈してロボットの低レベル行動に変換するシステムを提案し、片腕・双腕・移動ロボットで評価した。
- FAST: 視覚言語行動モデルのための効率的な行動トークン化VLA2025/1/1
離散コサイン変換に基づく新しい行動トークン化手法FASTを提案し、高頻度で器用なロボットタスクにおける自己回帰型VLAの学習を可能にした。
- π0: 汎用ロボット制御のための視覚-言語-行動フローモデルVLA2024/10/1
事前学習済み視覚言語モデルにフローマッチングを組み合わせ、多様なロボットの大規模データで訓練することで、洗濯物畳みや箱組み立てなどの器用なタスクをゼロショットや言語指示で実行できる汎用ロボット基盤モデルを提案した。
- LLaMAR: 部分観測環境におけるマルチエージェントロボットの長期計画マルチエージェント計画2024/7/1
言語モデルを用いて、部分観測可能なマルチエージェント環境での長期タスク計画を自己修正しながら実行する手法を提案し、家庭内タスクと捜索救助タスクで成功率を30%向上させた。
- CoNVOI: 視覚言語モデルを用いた屋内・屋外環境における文脈認識ナビゲーションナビゲーション2024/3/1
視覚言語モデルを活用し、周囲の状況をゼロショットで分類して文脈に応じた行動指示を生成し、障害物のない領域を番号で注釈した画像から経路を選択することで、屋内・屋外での自律ナビゲーションを実現する手法。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- AutoRT: ロボットエージェントの大規模オーケストレーションのための身体性基盤モデルVLA2024/1/1
視覚言語モデルと大規模言語モデルを活用し、多様なロボット群に指示を生成して実世界データを大規模収集するシステムAutoRTを提案。
- SpatialVLM:視覚言語モデルに空間推論能力を与えるVLA2024/1/1
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
- ロボティクスにおける基盤モデル:応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- コードの連鎖:言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- RoboVQA:ロボティクスのためのマルチモーダル長期推論VLA2023/11/1
オフィス環境で収集した大規模な(映像, テキスト)ペアデータセットRoboVQAを構築し、長期タスクの高レベル推論を行う映像条件付きモデルを訓練した。
- 大規模言語モデルを活用したナビゲーション:計画のためのヒューリスティックとしての意味的推測ナビゲーション2023/10/1
言語モデルが持つ意味的知識を探索ヒューリスティックとして利用し、未知環境でのロボットナビゲーションを効率化する手法を提案。
- 大規模言語モデルによるロボットスキルの条件付き組み合わせVLA2023/10/1
自然言語で記述されたスキルをLLMが組み合わせてロボットを操作するベンチマーク「Language-World」と、実演で高レベル計画を微調整する手法PCBCを提案した。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- 物理的常識を備えた視覚言語モデルによるロボットマニピュレーションマニピュレーション2023/9/1
家庭用品の物理的概念(材質や壊れやすさなど)を注釈付けした大規模データセットPhysObjectsを構築し、視覚言語モデルを微調整することで、ロボットが物体の物理的性質を理解して操作計画を改善できるようにした。
- RT-2: 視覚言語行動モデルによるウェブ知識のロボット制御への転移VLA2023/7/1
ウェブ規模の視覚言語モデルをロボット軌道データと共にファインチューニングし、行動をテキストトークンとして扱うことで、未知物体への汎化や意味的推論を可能にするVLAモデルRT-2を提案した。
- 汎用パターン機械としての大規模言語モデルVLA2023/7/1
追加学習なしの大規模言語モデルが文脈内学習により任意のトークン列を補完できることを示し、それをロボットの状態列予測や報酬条件付き軌道生成などの制御問題に応用できる可能性を探った。
- 言語から報酬へ:ロボットスキル合成の新パラダイムVLA2023/6/1
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- グラウンデッドデコーディング:身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- 意味的に想像された経験によるロボット学習のスケーリングマニピュレーション2023/2/1
テキストから画像を生成する拡散モデルを使い、既存のロボット操作データセットに多様な物体や背景を描き加えるデータ拡張手法ROSIEを提案。実世界実験で未見の物体やタスクへの汎化性能と外乱への頑健性が向上することを示した。
- 大規模視覚言語モデルによる意味的メカニカルサーチマニピュレーション2023/2/1
大規模言語モデルを活用して物体間の意味的関係を推論し、隠れた対象物を効率的に探索するフレームワークを提案。従来の幾何学的計画より探索性能を大幅に向上させた。
- RT-1: 実世界制御のための大規模ロボティクストランスフォーマーVLA2022/12/1
多様なロボットデータで訓練したTransformerモデルRT-1を提案し、実世界タスクにおけるデータ量・モデル規模・データ多様性に対する汎化性能を大規模実験で検証した。
- コードをポリシーとして:身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- 実世界計画のためのオープン語彙でクエリ可能なシーン表現VLA2022/9/1
視覚言語モデルとLLMを組み合わせ、自然言語で問い合わせ可能なシーン表現を構築し、ロボットが周囲の物体を認識・照会しながら計画を立てられるようにした。
- 内なる独白:言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- LM-Nav: 大規模事前学習モデルによる言語・視覚・行動を統合したロボットナビゲーションナビゲーション2022/7/1
言語・視覚・行動の大規模事前学習モデル(GPT-3、CLIP、ViNG)を組み合わせ、言語指示による実世界の長距離ナビゲーションを追加学習なしで実現した。
- 積み重ねられた物体の効率的な積み下ろしを伴う棚上でのメカニカルサーチマニピュレーション2022/7/1
棚に積み重なった物体を積み下ろししながら目標物体を探索する手法を提案し、シミュレーションと実機実験で有効性を示した。
- 言う通りでなく、できる通りに:ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- 新ツール「ブラクション」を用いた棚上のメカニカルサーチマニピュレーション2022/1/1
薄い押し出しブレードと吸盤グリッパを組み合わせた新ツール「ブラクション」と、棚の側面から対象物を探索するための改良シミュレーション・知覚・探索方策を提案し、吸着把持動作が押し出しのみの手法より成功率を向上させることを示した。
- 価値関数空間:スキル中心の状態抽象化による長期的推論階層強化学習2021/11/1
各低レベルスキルの価値関数を用いて状態を抽象化する表現を提案し、迷路探索やロボット操作の長期的タスクで性能とゼロショット汎化を向上させた。
- 系列条件付きトランスポータネットワークによるマルチタスク学習マニピュレーション2021/9/1
産業タスクを模した合成タスクのベンチマークMultiRavensを提案し、系列条件付けと重み付きサンプリングでGoal-Conditioned Transporter Networksを拡張して長期的マルチタスクを効率的に学習する手法を提案した。
- オフラインデータとクラウドソーシング注釈から言語条件付きロボット行動を学習言語条件付きマニピュレーション2021/9/1
ロボットのオフラインデータにクラウドソーシングで言語ラベルを付与し、言語指示の達成を判定する分類器を学習して報酬関数とし、多タスクオフライン強化学習で視覚ベースのマニピュレーションを実現した。
- 広域探索と局所方策を組み合わせた長期的タスク計画のための木探索タスク計画2020/10/1
RRT風の広域木探索とタスク条件付き学習方策を組み合わせ、長期的なタスク計画を効率的に行う手法BELTを提案した論文。
- 分散Soft Actor-Criticによる物体条件付き探索の学習ナビゲーション2020/7/1
分散型Soft Actor-Criticを用いて、未知の実在住宅環境で指定物体を探索する物体誘導ナビゲーションポリシーを学習した研究。
- 階層的予測計画による分散型マルチエージェントランデブーマルチエージェント強化学習2020/3/1
エージェント間の通信なしに、他エージェントの動きを自己教師あり学習で予測し、その予測モデルを用いてサブゴールを提案・評価することで分散型ランデブーを実現するモデルベース強化学習手法を提案した。
- バッチ動作計画のためのニューラル衝突クリアランス推定器動作計画2019/10/1
分離距離を予測するニューラルネットClearanceNetと、それを用いたCN-RRTを提案し、バッチ衝突判定と勾配による誤差修正で動作計画を高速化・高効率化した。
- 重要状態を学習するクリティカル確率的ロードマップ経路計画2019/10/1
グラフ理論の媒介中心性で経路計画に重要な状態を特定し、局所環境特徴からその重要度を学習して階層グラフで活用する手法を提案。一様サンプリング比で最大3桁の効率改善を達成した。
- 三人称視点の人間デモからの脚式ロボット視覚ナビゲーションのゼロショット模倣学習模倣学習2019/9/1
人間の三人称視点デモを用い、視点不変特徴を抽出する特徴分離ネットワークとモデルベース模倣学習により、脚式ロボットの視覚ナビゲーション方策をゼロショットで学習する手法を提案した。
- 学習潜在空間におけるロボット運動計画運動計画2018/7/1
オートエンコーダ・ダイナミクス・衝突判定ネットワークで構成される学習潜在空間上でRRTベースの計画を行うL-SBMPを提案し、視覚空間計画やヒューマノイドの運動計画に適用した論文。
- 示範から学習した非一様サンプリング分布によるロボット動作計画動作計画2017/9/1
条件付きVAEで示範からサンプリング分布を学習し、最適解が存在しうる領域にサンプルを偏らせることで、サンプリングベース動作計画の成功率と最適コストへの収束を大幅に改善した。
- GPU向け並列サンプリングベース近似最適動作計画法GMT*動作計画2017/5/1
サンプル集合をコスト閾値以下の群ごとに並列展開する近似動的計画法により、GPU上で約10msで準最適経路を計画する手法を提案し、漸近最適性を証明した。
- GPU上の多目的探索による知覚考慮型運動計画運動計画2017/5/1
知覚の自己位置推定品質を制約として考慮し、GPU並列化した多目的探索で低コストかつ頑健な運動計画を約1秒で求めるMPAPを提案し、クアッドロータで実証した。
- GPU上の多目的探索によるリアルタイム確率的キノダイナミック運動計画運動計画2016/7/1
衝突確率制約下で低コストな動的実行可能運動計画を求めるPUMPアルゴリズムを提案し、GPU上の大規模並列多目的探索でパレートフロントを構築して約100msで解を発見した。
- 決定論的サンプリングに基づく運動計画:最適性・計算量・性能運動計画2015/5/1
PRMを決定論的低分散サンプリング列で構成すると漸近最適性が成り立つことを示し、収束率と計算・空間計算量を明らかにした論文。
