Phillip Isola
Massachusetts Institute of Technology
収録論文 21本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- この機械は遊んでいるのか?身体性AI/創発行動2026/10/5
AIコーディングアシスタントを仮想身体に搭載し、具体的なタスクや報酬を与えずに30時間稼働させたところ、丘を登る、ブロックを積む、曼荼羅を描くなど多様な自発的行動が生じ、これが「遊び」の基準を満たすか考察した。
- Neverwhere ビジュアルパルクールベンチマークスイートsim2real2026/9/14
3Dガウススプラッティングで再構成した60以上の都市シーンからなる、視覚移動制御の閉ループ評価環境を構築し、多様なデータの必要性を示した。
- シミュレーションでの視覚的器用さの事前学習器用操作/事前学習2026/8/16
VRヘッドセットを使い、人間がシミュレーション内で物体を操作して収集したデータで、多指ロボットハンドの操作ポリシーを事前学習する手法を提案。実機での微調整により、ゼロから学習するよりも高い性能を達成した。
- オープンデータ・訓練・評価によるスケーラブルな行動クローニング行動クローニング2026/6/1
大規模な遠隔操作データセットABC-130K(3500時間、13万エピソード)とオープンソースのハードウェア・訓練・シミュレーション基盤を公開し、行動クローニングの再現可能な研究基盤を提供した。
- Lucid-XR: ロボット操作のための拡張現実データエンジンデータ生成/操作2026/5/1
XRヘッドセット上で動作する物理シミュレーションとビデオ生成を組み合わせ、多様な合成データを生成してロボットの視覚ポリシーを訓練し、実環境へのゼロショット転移を実現する。
- スケーラブルなReal2Sim:ロボットのピック&プレースによる物理を考慮したアセット生成sim2real2025/3/1
ロボットの関節トルクセンサと外部カメラのみを用いて、実物体の形状・衝突形状・慣性パラメータを自動推定し、シミュレーション可能なアセットを生成するReal2Simパイプラインを提案。
- 生成画像から学ぶ視覚的パルクールsim2real2024/11/1
生成モデルでロボット視点の多様な画像列を合成し、シミュレーションで訓練した四足ロボットが実世界のRGBカメラのみでゼロショットにパルクールを実行できるようにした。
- 再帰的割り当てによる適応的可変長画像トークン化画像トークン化2024/11/1
画像の情報量に応じて32〜256個のトークン数を再帰的に増減させる可変長トークナイザを提案し、再構成誤差とFIDで有効性を検証した。
- LangNav: ナビゲーションの知覚表現としての言語ナビゲーション2023/10/1
視覚情報を自然言語のキャプションに変換し、言語モデルでナビゲーション行動を選択する手法を提案。少ない専門家軌跡でも視覚特徴ベースの手法より高性能を示した。
- 蒸留特徴フィールドによる少数ショット言語誘導マニピュレーションマニピュレーション2023/8/1
2D基盤モデルの意味特徴を3D蒸留特徴フィールドに統合し、自由文の言語指示で未知物体を6自由度把持・配置できる少数ショット学習手法を提案。
- MIRA: ロボットのアフォーダンスのためのメンタルイメージマニピュレーション2022/12/1
2D画像から一貫した3Dシーン表現を構築し、新規視点の画像合成とピクセル単位のアフォーダンス予測を組み合わせて6自由度マニピュレーションの行動を最適化するフレームワークを提案。
- NeRFを教師信号に用いた密な物体記述子の学習物体記述子学習2022/3/1
NeRF表現から多視点間の密な対応を抽出し、それを教師データとして薄い・反射物体の視点不変な密記述子を学習。6DoFピック&プレース精度を大幅に向上させた。
- OPEn: タスクなしで学ぶためのオープンエンド物理環境世界モデル2021/10/1
特定タスクなしに物理環境を探索して世界モデルを学習し、下流の物理推論タスクへ転移できるかを検証するベンチマークOPEnを構築した研究。
- 行動前に見ることを学ぶ:操作のための視覚事前学習マニピュレーション2021/7/1
視覚タスクで事前学習したモデルをアフォーダンス予測に転移することで、ロボット操作の汎化性能とサンプル効率が向上し、短時間の経験で新規物体の把持成功率約80%を達成した。
- 好奇心駆動の表現学習による身体知能自己教師あり学習2021/5/1
強化学習ポリシーと視覚表現モデルを同時に学習し、ポリシーが表現学習の誤差を最大化するよう探索することで、教師なしで強い表現を獲得するフレームワークCRLを提案。
- NeRFを逆算して姿勢推定を行うiNeRF姿勢推定2020/12/1
NeRFを勾配降下で逆算し、メッシュ不要のRGB画像のみから6DoFカメラ姿勢を推定する手法を提案。合成・実世界シーンで有効性を示した。
- ノイジーエージェント:聴覚イベント予測による自己教師あり探索探索/強化学習2020/7/1
音のイベントを予測する誤差を内的報酬として強化学習エージェントの探索を促し、物理環境で物体との接触行動が自然に生まれることを示した研究。
- 経験埋め込み型視覚的先読み視覚予測2019/11/1
新しい物体の観測軌跡を埋め込みベクトルに符号化し、それに条件付けて視覚予測を行うことで、未知物体の動きに素早く適応する予測モデルを提案した論文。
- Omnipush:RGB-D動画付き押し動作ダイナミクスの多様で実世界な高精度データセットマニピュレーション2019/10/1
物体の形状と質量分布を体系的に変化させた250物体×250回の平面押し動作をRGB-Dと高精度トラッキングで記録し、メタ学習やRGB動画予測のベンチマークを備えたデータセットを構築した。
- 自己組織化する形態の制御学習:モジュール性による汎化の研究モジュラーロボティクス2019/2/1
原始的な手足エージェントが動的に自己組織化して複合体を形成し、その制御を学習するモジュール型協調進化戦略を提案し、環境や構造の変化に対する汎化性能が静的・単一型ベースラインより優れることを示した。
- 自己教師あり学習と模倣を組み合わせた視覚ベースのロープ操作変形物体操作2017/3/1
人間がロープを操作する画像列を入力に、自己教師あり学習で得たピクセル単位の逆動力学モデルと模倣による高レベル計画を組み合わせ、ロープを目標形状へ操作する手法を提案。
