Andy Zeng
収録論文 45本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ロボットナビゲーションと操作のためのマルチモーダル空間言語マップVLA2025/6/1
視覚・言語・音声の特徴を3D環境再構成に融合した空間マップを構築し、LLMと組み合わせて自然言語指示やマルチモーダルな目標を地図上に定位してロボットのナビゲーションと操作を可能にする手法を提案。
- 二本腕の身体性AI：ゼロショット学習、安全性、モジュール性マニピュレーション2024/4/1
自然言語指示に基づき二本腕ロボットが協調して長期的タスクをゼロショットで実行するモジュール型身体性AIシステムを提案。安全性とモジュール性を重視し、実世界データなしで動作する。
- 基盤モデルの実世界ロボット応用：レビュー基盤モデル応用2024/2/1
LLMやVLMなどの基盤モデルを実ロボットシステムの知覚・運動計画・制御にどう組み込むかを、入出力関係の観点から整理したレビュー。
- 言語モデル予測制御による人間フィードバックからの高速学習VLA2024/2/1
人間との対話履歴を遷移モデルとしてLLMに微調整し、モデル予測制御と組み合わせることで、ロボットの教示効率と成功率を向上させるフレームワークLMPCを提案。
- PIVOT: 反復的視覚プロンプティングによるVLMの行動知識の引き出しVLA2024/2/1
視覚言語モデルに対し、候補となる行動や軌道を画像上に重ねて反復的に選ばせる視覚プロンプティング手法PIVOTを提案し、追加学習なしでロボットのナビゲーションや操作を実現した。
- 大規模言語モデルを用いた表現豊かなロボット動作の生成VLA2024/1/1
大規模言語モデルを活用し、人間の言語指示からロボットの表現豊かな動作を生成する手法を提案。ユーザー研究とシミュレーションで有効性を示した。
- コードの連鎖：言語モデル拡張コードエミュレータによる推論推論/コード生成2023/12/1
言語モデルにコードを書かせ、実行できない部分を言語モデル自身でエミュレートさせることで、論理・算術だけでなく意味的な推論も改善するChain of Codeを提案。
- 言語訂正からロボット操作のための汎化可能な知識を蒸留・検索する手法VLA2023/11/1
大規模言語モデルを用いて、人間の言語による訂正フィードバックから汎化可能な知識を蒸留し、新しい環境で関連する経験を検索してロボット操作の性能を向上させるシステムDROCを提案した。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- 助けを求めるロボット：大規模言語モデルプランナーの不確実性調整VLA2023/7/1
LLMベースのプランナーが不確実な状況を検知して人間に助けを求める枠組みKnowNoを提案し、複雑な多段階計画タスクで効率と自律性を向上させた。
- 汎用部品組み立てのための再配置計画マニピュレーション2023/7/1
未知の部品形状から新しい組み立て対象を作る「汎用部品組み立て」に向け、Transformerで各部品の目標姿勢を予測するGPATを提案し、3D CADと実スキャンで汎化性能を示した。
- 汎用パターン機械としての大規模言語モデルVLA2023/7/1
追加学習なしの大規模言語モデルが文脈内学習により任意のトークン列を補完できることを示し、それをロボットの状態列予測や報酬条件付き軌道生成などの制御問題に応用できる可能性を探った。
- 言語から報酬へ：ロボットスキル合成の新パラダイムVLA2023/6/1
大規模言語モデルに報酬関数のパラメータを生成させ、それをリアルタイム最適化器で最適化することで、言語指示から多様なロボット動作を実現する手法を提案。
- TidyBot: 大規模言語モデルによる個別化されたロボット支援マニピュレーション2023/5/1
大規模言語モデルを活用し、少数の例からユーザーの好みを学習して家庭内の片付けを個別化するロボットシステムを開発した。
- RoboPianist: 深層強化学習による器用なピアノ演奏マニピュレーション2023/4/1
人間の手を模したロボットハンドが深層強化学習で150曲のピアノ曲を演奏できるようにするシステムとベンチマークを開発した。
- グラウンデッドデコーディング：身体性エージェントのための接地モデルによるテキスト生成誘導VLA2023/3/1
言語モデルの知識と環境に接地したモデルを組み合わせ、ロボットが長期的な身体性タスクを実行できるようテキスト生成を誘導する手法を提案。
- PaLM-E: 身体性を持つマルチモーダル言語モデルVLA2023/3/1
視覚や連続状態などのセンサ入力を言語モデルに統合し、ロボット操作計画や視覚的質問応答など複数の身体性タスクを単一モデルで解けるようにした研究。
- 音声・視覚・言語マップによるロボットナビゲーションナビゲーション2023/3/1
音声・画像・テキストのマルチモーダルな手がかりを統合した3Dボクセルマップを構築し、ロボットが多様なクエリで目的地を指定してゼロショットでナビゲーションできるようにした研究。
- MIRA: ロボットのアフォーダンスのためのメンタルイメージマニピュレーション2022/12/1
2D画像から一貫した3Dシーン表現を構築し、新規視点の画像合成とピクセル単位のアフォーダンス予測を組み合わせて6自由度マニピュレーションの行動を最適化するフレームワークを提案。
- 視覚言語マップ：ロボットナビゲーションのための空間地図表現ナビゲーション2022/10/1
事前学習済み視覚言語モデルの特徴量を3D再構成と融合させた空間地図VLMapsを提案し、LLMと組み合わせることで複雑な自然言語指示に基づくロボットナビゲーションを実現した。
- VIRDO++: 変形可能物体の実世界における視触覚ダイナミクスと知覚触覚2022/10/1
視覚と触覚を統合したニューラル陰関数表現により、変形可能物体の状態推定と変形ダイナミクス予測を実世界で実現し、未知物体や接触形態への汎化を示した。
- コードをポリシーとして：身体制御のための言語モデルプログラムVLA2022/9/1
コード生成LLMに少数例を与え、自然言語コマンドからロボットのポリシーコードを自動生成させる手法を提案し、実機で空間推論や曖昧指示の解釈を実証した。
- 内なる独白：言語モデルを用いた計画による身体性推論VLA2022/7/1
LLMが環境からの言語フィードバックを活用して「内なる独白」を形成し、ロボットの計画・制御を改善する手法を提案。実世界を含む3領域でタスク完了率が向上した。
- 移動式ブロワによる空気圧非把持マニピュレーションの学習非把持マニピュレーション2022/4/1
小型送風機を搭載した移動ロボットで散らばった物体を目標容器へ吹き寄せるタスクを、空間アクションマップの多周波数版を用いた深層強化学習で実現し、実機へ転移させた研究。
- クラウド経由で片腕ロボットに実物の衣類を折らせる研究布操作2022/4/1
クラウドロボティクス基盤Reachを使い、物理ロボット上で布操作アルゴリズムを体系的に比較評価した初の取り組み。片腕でTシャツを折るタスクで、模倣学習と解析手法を組み合わせた新アルゴリズムが人間の84%の性能を達成した。
- 言う通りでなく、できる通りに：ロボットのアフォーダンスに言語を接地するVLA2022/4/1
大規模言語モデルの高レベル知識と事前学習済みスキルの価値関数を組み合わせ、実世界で実行可能な行動に言語を接地させる手法を提案し、実機タスクで有効性を示した。
- 暗黙的キネマティックポリシー：エンドツーエンドロボット学習における関節空間と直交空間の統合マニピュレーション2022/3/1
観測と行動を入力とする暗黙的模倣学習を活用し、同じ行動を関節空間と直交空間の両方でポリシーに提示することで、各空間の帰納的パターンを学習させるIKPを提案。シミュレーション実験で複雑なマニピュレーションタスクにおいてベースラインより優れ、関節エンコーダのオフセット補正も学習できることを示した。
- ニューラルCDEによるマルチスケールセンサフュージョンと連続制御VLA2022/3/1
異なる周波数で届く複数センサ入力をNeural Controlled Differential Equationsで統合し、連続時間の潜在状態を発展させて行動を推論する方策学習アーキテクチャInFuserを提案した論文。
- 変形物体の視覚・触覚統合暗黙表現VIRDO触覚2022/2/1
点群と触覚反応力を入力に、接触位置と力の潜在表現を学習して変形物体の形状変化を予測するマルチモーダル暗黙表現を提案した論文。
- 系列条件付きトランスポータネットワークによるマルチタスク学習マニピュレーション2021/9/1
産業タスクを模した合成タスクのベンチマークMultiRavensを提案し、系列条件付けと重み付きサンプリングでGoal-Conditioned Transporter Networksを拡張して長期的マルチタスクを効率的に学習する手法を提案した。
- 暗黙的モデルによる行動クローニング模倣学習2021/9/1
エネルギー-basedモデルを用いた暗黙的行動クローニングが、明示的モデルより優れることを示し、D4RLや実機の接触タスクで有効性を実証した論文。
- 行動前に見ることを学ぶ：操作のための視覚事前学習マニピュレーション2021/7/1
視覚タスクで事前学習したモデルをアフォーダンス予測に転移することで、ロボット操作の汎化性能とサンプル効率が向上し、短時間の経験で新規物体の把持成功率約80%を達成した。
- 異身体間逆強化学習XIRL模倣学習2021/6/1
身体構造が大きく異なるエージェントのデモ動画から、時間的サイクル整合性を利用してタスク進行を捉える視覚埋め込みを自己教師あり学習し、報酬関数を獲得する手法を提案した。
- マルチエージェント移動マニピュレーションのための空間意図マップマルチエージェント強化学習2021/3/1
分散型マルチエージェントの視覚ベース深層強化学習において、各エージェントの意図を俯瞰2Dマップとして他エージェントに共有する「空間意図マップ」を提案し、物体の受け渡しや衝突回避などの協調行動を改善した。
- 目標条件付きトランスポーターネットワークによる変形可能なケーブル・布・袋の再配置学習変形物体マニピュレーション2020/12/1
ケーブルや布、袋といった変形物体を目標画像の条件に従って操作するため、Transporter Networksに目標条件付けを組み込んだ手法を提案し、1D/2D/3Dの変形構造を対象としたシミュレーションと実機実験で有効性を示した。
- トランスポーターネットワーク：視覚世界を再配置するロボットマニピュレーションマニピュレーション2020/10/1
深層特徴を空間的に再配置して視覚入力からロボット動作の変位を推論するシンプルなアーキテクチャを提案し、物体の仮定なしに高いサンプル効率で積み木やロープ操作などを学習できることを示した。
- 空間行動マップによる移動マニピュレーション移動マニピュレーション2020/4/1
画像と同じ座標系のピクセルごとに行動を表す「空間行動マップ」を強化学習で学習し、物体を目標位置へ押す移動マニピュレーションを従来手法より高速かつ高精度に実現した。
- 実環境での把持：低コスト実演から学ぶ6DoFクローズドループ把持マニピュレーション2019/12/1
低コストなハードウェアで人間の把持実演を収集し、action-viewレンダリングとQ関数を用いた強化学習で実ロボットに転移可能な6DoFクローズドループ把持モデルを学習した。
- 分解から組み立てを学ぶ形状プライアによる汎用キット組立マニピュレーション2019/10/1
キット組立を形状マッチング問題として定式化し、分解による自己教師ありデータ収集で物体と配置先の対応を学習、新しい物体やキットにも汎化する組立システムForm2Fitを提案した。
- 透明物体の3D形状推定によるロボットマニピュレーション透明物体認識2019/10/1
単一のRGB-D画像から透明物体の表面法線・マスク・遮蔽境界を深層学習で推定し、深度を補正して把持性能を向上させる手法ClearGraspを提案。
- DensePhysNet：多段動的相互作用による密な物理物体表現の学習物体表現学習2019/6/1
物体を滑らせたり衝突させたりする動的相互作用を能動的に行い、その視覚観測から摩擦や質量などの物理特性を反映したピクセル単位の密な表現を学習する手法を提案した。
- TossingBot：残差物理で任意物体を投げる学習マニピュレーション2019/3/1
ロボットアームが試行錯誤を通じて任意物体を掴んで指定ボックスへ投げ入れるエンドツーエンド手法を提案し、物理シミュレータの予測に深層ネットワークで残差を補正することで高速かつ高精度な投擲を実現した。
- 押し動作と把持動作の相乗効果を自己教師あり深層強化学習で学習するマニピュレーション2018/3/1
把持と押し動作の相乗効果を、試行錯誤による自己教師ありQ学習でゼロから獲得し、散らかった環境での把持成功率と効率を向上させた研究。
- 多様な把持戦略と領域横断画像照合による混雑環境での新規物体ピック＆プレースマニピュレーション2017/10/1
カテゴリ非依存のアフォーダンス予測で4種の把持動作を使い分け、商品画像との照合で未知物体も認識するピック＆プレースシステムを構築し、2017年Amazonロボティクスチャレンジの収納タスクで優勝した。
- 多視点自己教師あり学習による6D姿勢推定：Amazon Picking Challengeへの応用6D姿勢推定2016/9/1
多視点RGB-Dデータと自己教師あり学習を組み合わせ、 clutter環境でも物体の6D姿勢を高精度に推定する手法を提案し、APC 2016で有効性を示した。
