Lerrel Pinto
New York University
収録論文 83本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- PanoTac：堅牢な触覚中心マニピュレーションのための高密度三軸触覚センサ触覚2026/11/2
低コストで柔軟な三軸触覚指先センサを開発し、視覚触覚パイプラインに統合して、視覚のみのベースラインを平均46.7ポイント上回る接触リッチな操作を実現した。
- 暗黙的ダイナミクスを持つ階層型ワールドモデルワールドモデル/計画2026/10/30
状態空間の到達可能性と局所制御を分離した階層型ワールドモデルを提案し、高レベルでサブゴールを選び低レベルで逆ダイナミクスにより精密な行動に変換することで、長期的タスクの計画精度を大幅に向上させた。
- 少数の人間動画から方策をステアチューニングVLA2026/10/13
100時間の一人称視点人間データで拡散方策を事前学習し、新タスクの5つの人間デモで2分間微調整して、逆サンプリング時に近い観測のデモで行動を誘導することで、新環境でのタスク成功率71%を達成した。
- WetRobo: 生物学実験室向けコーディングエージェント用再現可能ロボットキット実験室自動化2026/9/16
実験室間で移設可能なロボットアームと機材・コード・スキルファイルからなるキットを構築し、コーディングエージェントが自然言語タスクを実行、VLAより環境変化に頑健なことを示した。
- パッチポリシー：高密度視覚表現による効率的な身体制御VLA2026/7/1
Vision Transformerの事前学習済みパッチ特徴を直接利用する軽量なロボットポリシーを提案し、グローバル表現や大規模VLAを凌ぐ性能を達成した。
- 人間の普遍的な把握動作の生成把握動作生成2026/6/1
スマートグラスで収集した大規模な人間の把握動作データを用いて、任意の物体に対する多様な人間の把握姿勢を生成するフローマッチングモデルを提案し、ロボットハンドへの転用でゼロショット把握を実現した。
- 量より質：データ中心ロボット学習のための影響関数によるデモンストレーションキュレーションデータキュレーション2026/3/1
デモンストレーション学習において、検証データへの損失削減への貢献度を影響関数で推定し、高品質なデータを選別する手法QoQを提案。シミュレーションと実環境で既存手法より高い性能を達成。
- Ruka-v2: 手首と指の開閉を備えた腱駆動型オープンソース器用ハンドハードウェア/器用操作2026/3/1
腱駆動のオープンソース人型ハンドRukaを改良し、手首の2自由度と指の開閉を追加したRuka-v2を設計・評価した。遠隔操作タスクで完了時間が51.3%短縮、成功率が21.2%向上し、ロボット学習への応用も示した。
- 階層的潜在行動モデルVLA2026/3/1
長期的な時間構造を捉えるため、事前学習済みの潜在行動モデルを低レベル抽出器として用い、潜在行動系列を高レベルの潜在スキルに集約する階層的潜在行動モデルHiLAMを提案した。
- 接触アンカーポリシー：接触条件付けによる強力なロボットユーティリティモデルマニピュレーション2026/2/1
言語指示の代わりに空間上の接触点を条件として使い、モジュール型ユーティリティモデル群として構成した操作ポリシーCAPを提案。軽量シミュレータEgoGymでの実機-シミュレーション反復により、23時間のデモデータのみで新環境・新機体にゼロショット汎化し、最先端VLAを56%上回る。
- YOR: 汎用ロボティクス研究のための自作モバイルマニピュレータモバイルマニピュレーション2026/2/1
全方向移動ベース・伸縮リフト・双腕を組み合わせた低コスト（1万ドル以下）のオープンソース移動マニピュレータを開発し、全身協調動作や双腕操作、自律ナビゲーションを実証した。
- Point Bridge: クロスドメイン方策学習のための3D表現sim2real2026/1/1
VLMで抽出した点群表現とTransformer方策を用い、合成データのみで実世界マニピュレーションのゼロショットsim-to-real転移を実現するフレームワーク。
- スマートレンズから器用さを獲得：日常環境での人間デモによる多指ロボットマニピュレーションマニピュレーション2025/11/1
Aria Gen 2グラスで日常環境の人間の手の動きを収集し、ロボットデータなしで多指ハンドの3D点ベース方策を学習するフレームワークAINAを提案。
- 力触覚を感じろ：人間の接触から学ぶ力制御マニピュレーション触覚2025/6/1
触覚グローブと視覚から人間の力加減を学習し、触覚センサ付きロボットアームで力に敏感なマニピュレーションを実現するシステムを提案。
- 触覚は視覚の終わるところから始まる：接触を伴う操作のための汎化可能な方策マニピュレーション2025/6/1
視覚言語モデルで物体を定位し、視覚と触覚を用いた局所的な方策で接触を伴う操作を行うViTaLを提案し、未知環境で約90%の成功率を達成した。
- eFlesh: カットセル微細構造を用いた高カスタマイズ可能な磁気触覚センサ触覚2025/6/1
低コストで自作可能な磁気触覚センサeFleshを提案し、接触位置・力の高精度推定と滑り検出、視触覚制御によるマニピュレーション性能向上を実現した。
- EgoZero: スマートグラスからのロボット学習模倣学習2025/5/1
スマートグラスで撮影した人間の作業デモのみからロボットのマニピュレーション方策を学習し、実機へゼロショット転移させる手法を提案。
- RUKA：学習を活用したヒューマノイドハンド設計の再考マニピュレーション2025/4/1
3Dプリントと既製品で作られた腱駆動型の低コストヒューマノイドハンドを開発し、モーションキャプチャデータから関節・指先とアクチュエータの対応モデルを学習することで巧みな操作を実現した。
- ポイントポリシー：ロボットマニピュレーションのためのキーポイントによる観測と行動の統合マニピュレーション2025/2/1
人間のデモ動画のみからロボット方策を学習する手法を提案し、キーポイントで物体状態を表現することで実世界8タスクで大幅な性能向上を達成した。
- P3-PO: ロボット方策の視覚空間汎化のための指示的点事前分布マニピュレーション2024/12/1
人間が1枚のデモ画像上で指定した意味的な点を既存の視覚モデルでデータセット全体に伝播させ、その点を状態表現として方策学習に用いることで、新しい物体や混雑環境への汎化性能を大幅に向上させた研究。
- DynaMem: オープンワールド移動マニピュレーションのためのオンライン動的時空間セマンティックメモリ移動マニピュレーション2024/11/1
ロボットが環境の変化に合わせて3Dメモリを動的に更新し、移動・出現・消滅する物体を扱えるようにする手法を提案。実機で非静止物体のピック・アンド・ドロップ成功率70%を達成した。
- DINO-WM: 事前学習済み視覚特徴量上のワールドモデルによるゼロショット計画ワールドモデル2024/11/1
DINOv2のパッチ特徴量を予測するワールドモデルをオフライン軌道から学習し、行動列最適化により未見タスクをゼロショットで計画する手法を提案。
- 物体指向型報酬による人間とロボットの器用さのギャップの橋渡しマニピュレーション2024/10/1
人間の動画から物体の軌道を抽出して報酬を計算し、多指ロボットハンドのポリシーをオンライン微調整する手法HuDORを提案。
- 四足歩行のための神経回路に基づくアーキテクチャ事前分布歩行2024/10/1
哺乳類の脊髄・四肢の神経回路を模したANNアーキテクチャを四足歩行に適用し、MLPより少ないデータと桁違いに少ないパラメータで同等の性能と高い汎化・実機展開を実現した。
- 未校正の触覚スキンによる精密で接触の多いマニピュレーションの学習触覚2024/10/1
磁気スキンセンサを視覚情報とトークンとして統合するTransformerベースのViSkフレームワークを提案し、カードスワイプやプラグ挿入などの接触の多い実世界タスクで視覚のみ・光学触覚ベースの手法を大きく上回る性能を示した。
- ロボットユーティリティモデル：新環境へのゼロショット展開のための汎用ポリシーマニピュレーション2024/9/1
ファインチューニングなしで新しい環境や未知の物体に直接適応できるゼロショットロボットポリシーを訓練・展開するフレームワークを提案し、5つの実用的タスクで平均90%の成功率を達成した。
- DynaMo: 視覚運動制御のためのドメイン内ダイナミクス事前学習模倣学習2024/9/1
専門家のデモンストレーションのみを用いて、潜在空間での逆ダイナミクスモデルと順ダイナミクスモデルを自己教師あり学習し、視覚表現を獲得する手法を提案。模倣学習の性能を向上させる。
- AnySkin: ロボット触覚のためのプラグアンドプレイ皮膚センシング触覚2024/9/1
磁気式触覚センサAnySkinを提案し、接着剤不要で交換可能な設計と、学習済みマニピュレーションポリシーの個体間ゼロショット汎化を実現した。
- BAKU: マルチタスク方策学習のための効率的Transformer模倣学習2024/6/1
観察トランク・行動チャンキング・マルチセンサ観察・行動ヘッドを組み合わせたTransformerで、少ない実演データから多様なロボットタスクの方策を効率的に学習する。
- OPEN TEACH：ロボットマニピュレーション向け汎用テレオペレーションシステムテレオペレーション2024/3/1
Meta Quest 3を使った低コストなVRテレオペレーションシステムを開発し、多指ハンドや双腕ロボットを最大90Hzで直感的に操作可能にした。38タスクで有効性を示し、収集データが10の器用な接触操作タスクの模倣学習に使えることを実証した。
- 潜在行動による行動生成模倣学習2024/3/1
連続行動を階層的ベクトル量子化でトークン化し、マルチモーダルな行動生成・条件付き生成・部分観測を扱うVQ-BeTを提案。模擬操作・自動運転・ロボティクスなど7環境でBeTやDiffusion Policiesを上回り、推論速度も5倍高速化した。
- 連続的な系列間モデリングのための階層的状態空間モデル時系列モデリング2024/2/1
生のセンサ系列から物理量の系列を予測するため、構造化状態空間モデルを積み重ねた時間的階層モデルHiSSを提案し、6つの実世界データセットでTransformerやMamba等を上回る精度を示した。
- OK-Robot：オープン知識モデルをロボティクスに統合する上で本当に重要なことマニピュレーション2024/1/1
視覚言語モデル・ナビゲーション・把持を組み合わせ、訓練なしで物体のピックアンドドロップを行うロボットシステムを構築し、実環境10軒で評価した。
- 家庭用ロボットの実現に向けて：Dobb-Eと汎用マニピュレーション学習マニピュレーション2023/11/1
安価なデモ収集ツール「The Stick」と家庭環境で事前学習した表現を用い、5分の実演と15分の適応で新しい家事タスクを学習できる汎用ロボットシステムDobb-Eを提案し、実家庭で81%の成功率を達成した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- PolyTask: 行動蒸留による統合ポリシーの学習マルチタスク強化学習2023/10/1
各タスクの少数のデモから個別ポリシーを学習し、行動蒸留で単一の統合ポリシーにまとめる手法を提案。マルチタスク・生涯学習で従来手法を大きく上回る。
- 視覚から触覚へ：視覚的インセンティブによる触覚巧緻性の学習マニピュレーション2023/9/1
視覚表現から報酬を設計し、触覚ベースの巧緻な操作方策を強化学習で最適化するフレームワークTAVIを提案。4本指ハンドで6つの難タスクにおいて高い成功率を達成した。
- オフラインで訓練し、オンラインでテスト：実機ロボット学習ベンチマークsim2real2023/6/1
共有ロボットハードウェアとオープンソースデータセットを提供し、遠隔からオフライン学習手法を実機で評価できるベンチマークTOTOを提案した。
- NetHackはハックするのが難しい強化学習2023/5/30
NetHackにおけるニューラル方策学習の性能ギャップを分析し、大規模なデモデータセットを構築して、行動階層やニューラルアーキテクチャ、強化学習と模倣学習の統合を検討した結果、最先端のニューラルエージェントを開発したが、記号エージェントやトップ人間プレイヤーには及ばないことを示した。
- ロボットに魚を釣らせる：1分間のデモンストレーションからの汎用模倣学習模倣学習2023/3/1
1分未満の人間のデモンストレーションから、環境変化に頑健な視覚的スキルを模倣学習する手法FISHを提案。ベース方策をオフライン模倣で訓練し、デモとの一致度に基づく報酬で残差方策を適応的に更新することで、最大20分の対話学習で未見の物体配置にも対応する。
- 触覚から生まれる器用さ：ロボット遊びによる触覚表現の自己教師あり事前学習マニピュレーション2023/3/1
ロボットの遊びデータで触覚表現を自己教師あり学習し、視覚と組み合わせることで、多指ハンドの繊細な操作タスクを従来の視覚・トルクベース手法より平均1.7倍の成功率で実現した。
- Holo-Dex: 没入型複合現実による器用さの教示マニピュレーション2022/10/1
市販のVRヘッドセットで手の動きを計測し、ロボットの巧みな操作を遠隔操作で教示・学習するフレームワークを提案。
- 遊びから方策へ：未整理ロボットデータからの条件付き行動生成模倣学習2022/10/1
非専門家の遊びデータから、将来の目標で条件付けして多様な行動を生成するC-BeTを提案し、シミュレーションで45.7%改善、実機でもタスクラベルなしで有用な行動を学習できることを示した。
- 音で操る：動的ロボットマニピュレーションのための聴覚自己教師あり学習マニピュレーション2022/10/1
接触マイクで収集した25kの音データセットを用い、自己教師あり学習で音から動的マニピュレーションを予測・生成する手法を提案。
- CLIP-Fields: ロボット記憶のための弱教師あり意味場VLA2022/10/1
CLIPやDeticなどWeb学習済みモデルのみを教師に使い、空間位置から意味埋め込みへの写像を学習する暗黙的シーン表現を提案。これをシーン記憶としてロボットが実環境で意味的ナビゲーションを行えることを示した。
- 見て合わせる：正則化最適輸送による模倣学習の加速模倣学習2022/6/1
最適輸送に基づく軌道マッチングと行動クローニングを適応的に組み合わせることで、少ないデモンストレーションでも高速に模倣学習を進める手法ROTを提案した。
- Behavior Transformer：単一モデルで複数モードを模倣する模倣学習2022/6/1
ラベルなしの実演データから多様な行動モードを学習するため、Transformerに行動の離散化とオフセット予測による補正を組み合わせたBehavior Transformer (BeT)を提案し、ロボット操作や自動運転のデータセットで有効性を示した。
- RB2: ロボットマニピュレーションのためのランキング型ベンチマークマニピュレーション2022/3/1
SOTAアルゴリズム実装をベンチマークに組み込み、複数ラボの実験データを統合してグローバルなランキングを確立する手法を提案した論文。
- 文脈こそがすべて：ダイナミクス適応のための暗黙的識別ダイナミクス適応2022/3/1
環境の真の変化量にアクセスせず、少量の文脈データから環境特性を暗黙的に推論して予測モデルを適応させる手法IIDAを提案し、MuJoCo実験と実機の滑りタスクでモデル誤差低減とタスク性能向上を示した。
- 器用な模倣を簡単に：効率的な巧緻操作のための学習ベースフレームワーク模倣学習2022/3/1
単一RGBカメラで人間の操作を観察してロボットハンドを遠隔操作し、そのデモから模倣学習で巧緻なハンド内操作（物体のフリップ・回転など）を実現するフレームワークDIMEを提案した論文。
- 次々と学習：変化する世界のためのインクリメンタルスキルスキル発見2022/3/1
環境が変化・拡大する状況でも過去のスキルを忘れずに新しいスキルを逐次的に獲得する、報酬なしのスキル発見フレームワークを提案し、静的・動的環境の両方で既存手法を上回ることを示した。
- 視覚的模倣における表現学習の驚くべき有効性模倣学習2021/12/1
視覚的模倣学習において表現学習と行動学習を分離し、オフラインデータで教師あり・自己教師あり学習した表現エンコーダと局所重み付き回帰で行動予測を行うことで、従来手法より少ないデモで高い性能を実現した。
- 教師なし強化学習ベンチマークURLB強化学習ベンチマーク2021/10/1
報酬なし事前学習と下流タスク適応の2段階からなる教師なし強化学習の統一ベンチマークURLBを提案し、8手法を比較評価した。
- 視覚連続制御を極める：改良データ拡張強化学習視覚強化学習2021/7/20
データ拡張を用いたモデルフリー強化学習DrQを改良し、ピクセル観測からヒューマノイド歩行を含む複雑な連続制御タスクを単一GPUで効率的に学習できるDrQ-v2を提案した論文。
- 遊びを通じた視覚表現学習模倣学習2021/7/1
多様な環境での2時間の遊びデータを自己教師あり学習に使い、下流の押し・積みタスクで必要な実演数を半減できる視覚表現を獲得した研究。
- 移動を伴う建設タスクのナビゲーションと構築を同時に評価するベンチマーク環境ナビゲーション・構築ベンチマーク2021/3/1
GPSなしで環境を移動しながら設計通りに構造を変更する移動建設タスクをPOMDPとして定式化し、1/2/3Dグリッドワールドで従来手法と深層強化学習を比較評価したベンチマークを提案する。
- タスク非依存の形態進化形態進化2021/2/1
タスクや報酬の指定なしに、ランダムな行動プリミティブだけで情報理論的な目的関数を用いて多様な状態に到達できる形態を進化させる手法を提案した。
- ダイナミクス・サイクル整合性によるドメイン間対応の学習sim2real2020/12/1
非ペアのデータからダイナミクス・サイクル整合性を用いて異なるドメイン間の対応を学習し、追加のファインチューニングなしでポリシーを転移できる手法を提案した。
- 対照学習とデータ拡張による効率的な視覚ロボット制御の学習実機強化学習2020/12/1
対照学習による事前学習とデータ拡張を組み合わせ、実機ロボットアームが10個のデモンストレーションから30分程度の訓練でスパース報酬の操作タスクをピクセル入力で学習できる手法CoDERを提案した。
- 中間視覚表現によるロバスト方策：マニピュレーションとナビゲーションにおける実験的研究VLA2020/11/1
深層強化学習に中間視覚表現を組み込むことで、サンプル効率と汎化性能が向上し、ドメインランダム化より大きなドメインシフトにも対応できることをマニピュレーションとナビゲーションで示した。
- 視覚模倣を手軽に：把持補助具で収集した実演からロボット動作を学習模倣学習2020/8/1
市販のリーチャー・グラバーをデータ収集とロボットのエンドエフェクタの両方に使い、SfMと指検出ネットワークで視覚実演から行動を抽出して、プッシュと積み重ねタスクの模倣学習を実現した論文。
- 展開後の自己教師ありポリシー適応sim2real2020/7/1
報酬なしで展開後も自己教師あり学習によりポリシーを適応させ、未知の環境変化への汎化性能を向上させる手法を提案。
- ガシャン！カタカタ！ドスン！―音を伴う動作の理解音響知覚2020/7/1
ロボットが物体を傾けて衝突させることで音と動作の大規模データセットを構築し、音が物体の細かい分類や動作の因果関係、物理特性の推定に有効であることを示した研究。
- 価値の不一致を利用した自動カリキュラム学習強化学習2020/6/1
Q関数の認識的不確実性が最大になるゴールを優先的にサンプリングする自動カリキュラムを提案し、多ゴールのロボットタスクとナビゲーションタスクで性能向上を示した論文。
- 状態のみの模倣学習による巧みな操作模倣学習2020/4/1
逆動力学モデルをポリシーと同時に学習し、行動ラベルなしの状態のみのデモンストレーションから巧みな操作を模倣できるようにした。
- 形態を越えた転移のための階層的分離模倣模倣学習2020/3/1
低レベル方策を単純な形態のエージェントから模倣させ、KL正則化で高レベル方策を安定学習させることで、複雑な形態のエージェントへの長距離タスクの転移効率を向上させた研究。
- 対照学習による変形可能物体の予測表現学習変形物体操作2020/3/1
対照推定を用いて視覚表現とダイナミクスモデルを同時最適化し、ロープや布の操作をモデルベース計画で実現、シミュレーションから実機PR2へ転移した研究。
- 一般化ヒンドサイトによる強化学習の効率的なデータ再利用強化学習2020/2/1
あるタスクで集めた低報酬データを、その行動に適した別タスクへ再ラベリングする近似逆強化学習手法を提案し、マルチタスクのナビゲーションとマニピュレーションでサンプル効率の向上を示した。
- 実演なしで変形物体を操作する学習手法変形物体操作2019/10/1
モデルフリーの視覚強化学習で変形物体操作を実現するため、pick-placeの構造を活かした反復行動空間と、ランダムpick点に対するplace方策からMVPでpickを選ぶ手法を提案し、学習を大幅に高速化、実機PR2へ転移した。
- 環境を探るインタラクションポリシー強化学習2019/7/1
強化学習で未知環境に適応するため、まず環境の特性を探るEPIポリシーを学習し、その情報をタスクポリシーの入力に用いる手法を提案。遷移予測性に基づく報酬で学習し、新規環境での性能を向上させた。
- PyRobot：研究・ベンチマーク向けオープンソースロボティクスフレームワークロボティクスフレームワーク2019/6/1
ROS上に構築した軽量な高レベルAPIで、ハードウェアに依存せず多様なロボットを制御できるオープンソースフレームワークPyRobotを提案し、非ロボティクス研究者の参入障壁を下げる。
- 人間の敵対的介入によるロボット学習マニピュレーション2019/3/1
人間がロボットに敵対的に介入する物理的枠組みを提案し、その摂動を学習に活用することで把持タスクの成功率が自己教師あり学習より大幅に向上することを示した。
- MIME：模倣学習のための大規模実演データセット模倣学習2018/10/1
20種類のロボット操作タスクについて8260件の人間-ロボット実演を収集した大規模データセットMIMEを構築し、三人称視点の動画特徴からロボット軌道を予測する手法を提案・評価した。
- 計画されたエピソードリセットによる非把持マニピュレーション方策のサンプル効率学習マニピュレーション2018/10/1
物理ベースの事前分布に基づいて環境状態をリセットするLeaPERを提案し、非把持マニピュレーションの強化学習を最大5倍サンプル効率で改善した。
- 家庭環境でのロボット学習：汎化性能の向上とデータセットバイアスの低減マニピュレーション2018/7/1
低コスト移動マニピュレータを自作し複数の家庭で2.8万回の把持データを収集、ラベルノイズを潜在変数として扱う枠組みを開発して、未知の家庭での把持成功率をラボ学習モデルより43.7%改善した。
- 画像ベースロボット学習のための非対称アクター・クリティックsim2real2017/10/1
シミュレータ内でクリティックには完全状態、アクターにはRGBD画像のみを与える非対称なアクター・クリティック学習を提案し、ドメインランダム化と組み合わせて実世界データなしで実機へ転移できることを示した。
- カリキュラム加速自己教師あり学習による高次元把持制御マニピュレーション2017/8/1
制御次元ごとに学習順序を決めるカリキュラムを感度分析で自動設計し、視覚から高次元動作への把持政策を効率的に学習する手法を提案した。
- 衝突から学ぶドローン飛行UAVナビゲーション2017/4/1
ドローンを意図的に11,500回衝突させて大規模な衝突データセットを構築し、それを用いた自己教師あり学習で障害物の多い環境でも飛べるナビゲーションポリシーを獲得した。
- 敵対的摂動に強い強化学習sim2real2017/3/1
外乱を加える敵対エージェントと制御エージェントをゼロサムminimaxで同時学習させ、sim2realや条件変化に対する頑健性を高める手法を提案。
- 競争による教師信号：ロボット学習のための敵対者マニピュレーション2016/10/1
ロボットの学習タスクに敵対者を導入する敵対的学習フレームワークを提案し、敵対者に打ち勝つためにロボットがより頑健な把持モデルを学習できることを示した。
- 把持と押し動作のマルチタスク学習による効率的なロボット制御マニピュレーション2016/9/1
把持と押しの2つのタスクを同時に学習させることで、単一タスク専用モデルより少ないデータで高い性能を達成できることを示した研究。
- 好奇心旺盛なロボット：物理的相互作用による視覚表現の学習ロボット学習2016/4/1
Baxterロボットが物体を押す・突く・掴む・観察する4種類の物理的相互作用で13万件以上のデータを収集し、共有ConvNetで視覚表現を学習。画像分類やインスタンス検索でImageNet学習を上回る性能を示した。
- 大規模自己教師あり学習によるロボット把持：5万回・700時間の試行データマニピュレーション2015/9/1
700時間のロボット把持試行から5万件のデータを収集し、CNNで把持位置を予測する大規模学習手法を提案。多段階学習で難例を収集し、未知物体への汎化性能で最先端を達成した。
