Joshua B. Tenenbaum
MIT
収録論文 71本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 身体化された計画を理解するための計算フレームワーク身体化AI2026/11/10
身体力学と物体との相互作用を統合した多階層状態空間を生成モデルに埋め込み、人間が他者の身体化された計画や目標をどう推論するかを再現・予測する枠組みGenEAを提案した論文。
- 制御へのコード合成:パラメータ化されたリアクティブコントローラの合成制御/プログラム合成2026/9/30
LLMでコントローラの構造を合成し、パラメータを微分不要の探索で調整することで、実行時にLLM推論や計画を必要としないリアルタイム制御ポリシーを生成する手法を提案。
- EMPIRIC: ロボットプランニングのための実験駆動型残差世界モデル学習世界モデル2026/9/28
物理エンジンに不足するメカニズムをコードとして学習し、ベイズ推論でパラメータを推定する残差世界モデルを提案。シミュレーションと実機でタスク解決性能を向上。
- PhyScensis: 物理エンジンで拡張されたLLMエージェントによる複雑な物理シーン配置シーン生成/LLMエージェント2026/2/1
LLMエージェントと物理エンジンを組み合わせ、接触や支持・収納といった物理関係を考慮した複雑な3Dシーンを自動生成するフレームワークを提案。
- 環境レベルのクエリで世界モデル学習をベンチマークする世界モデル2025/10/22
世界モデルが環境全体に関する多様なクエリに答えられるかを評価するWorldTestプロトコルと、43のグリッドワールド環境・129タスクからなるAutumnBenchを提案し、人間とAIモデルの性能差を明らかにした。
- ExoPredicator: ロボット計画のための動的環境の抽象モデル学習ロボット計画2025/9/1
ロボットの行動だけでなく外部プロセスも同時に進行する動的環境において、記号状態表現と因果プロセスを同時に学習し、長期計画を可能にするフレームワークを提案。
- 神経記号的コンセプトVLA2025/5/1
感覚入力と行動出力に基づく神経記号的コンセプトの語彙を用いて、継続学習と柔軟な推論が可能なエージェントを構築する概念中心の枠組みを提案。
- PickScan: 手持ち操作による物体発見と再構成3D再構成2024/11/1
RGB-Dカメラで物体を持ち上げながら撮影し、物体ごとの3Dモデルを生成するクラス非依存な手法を提案。操作検出とマスク抽出により高精度な再構成を実現した。
- 大規模モデルによるキーポイント抽象化を用いた物体相対模倣学習模倣学習2024/10/1
大規模視覚言語モデルを活用してタスクに関連し物体間で一貫したキーポイントを自動生成し、少数の実演データから物体姿勢や視点の変化に頑健な模倣学習を実現するフレームワークKALMを提案。
- VisualPredicator:ロボット計画のための神経記号的述語を用いた抽象世界モデルの学習ロボット計画2024/10/1
記号と神経の知識表現を組み合わせた一階述語言語を提案し、述語をオンラインで発明しながら抽象世界モデルを学習する手法を開発。五つのロボットシミュレーション領域で階層強化学習や視覚言語モデル計画より優れたサンプル効率と分布外汎化、解釈性を示した。
- 心の理論を用いた人間とロボットの協調における実用的な音声指示追従VLA2024/9/1
雑音や発音の乱れがある音声指示でも、環境の文脈と心の理論に基づく推論でロボットが実用的に従えるニューロシンボリックモデルSIFToMを提案し、シミュレーションと実環境で有効性を示した。
- ポテンシャルベース拡散運動計画運動計画2024/7/1
ポテンシャルベースの運動計画をニューラルネットワークで学習し、拡散モデルを用いて局所解を回避しながら高次元空間での計画を可能にした手法を提案。
- 自然言語ガイダンスによる適応的計画表現の学習言語ガイド付き計画2023/12/1
言語モデルの知識を活用し、対話的にタスク固有の高レベル行動抽象化と低レベル制御器を獲得するフレームワークAdaを提案。Mini MinecraftとALFREDで既存手法を上回る。
- Bayes3D: 3D物体とシーンの構造生成モデルにおける高速学習と推論3D認識2023/12/1
少数視点から新規3D物体を学習し、 clutterや遮蔽に頑健に認識する階層ベイズモデルとGPU加速逐次モンテカルロ法を提案。
- 再利用可能なマニピュレーション戦略の学習マニピュレーション2023/11/1
1回の実演と自己対戦から、お玉で遠くの物を引き寄せるような操作の「コツ」を接触モードの変化として抽出し、異なる物体や配置にも応用できるスキルとして学習・組み合わせる枠組みを提案した。
- HandMeThat: 物理的・社会的環境における人間とロボットのコミュニケーション人間-ロボットインタラクション2023/10/1
物理的・社会的な文脈を考慮して人間の指示を理解し実行するロボットの能力を評価するベンチマークHandMeThatを提案し、既存手法の性能が低いことを示した。
- 動画と言語による長期タスクの計画VLA2023/10/1
大規模生成モデルを活用し、テキスト指示と画像から長期タスクの動画計画を生成するVLPを提案。木探索で視覚言語モデルとテキストto動画モデルを組み合わせ、実ロボット行動に変換する。
- 行動ラベルなし動画から密対応を介して行動を学習するVLA2023/10/1
行動注釈なしの少数の動画デモから、画像とテキストを活用してロボット方策を構築し、卓上操作やナビゲーションタスクで有効性を示した研究。
- 拡散モデルによる合成的連続制約ソルバタスク・モーション計画2023/9/1
個々の制約タイプごとに学習した拡散モデルのエネルギーを因子グラフ上で合成し、連続制約充足問題の大域解を生成する手法を提案。新規な制約の組み合わせへの汎化や、離散・連続パラメータを含む長期タスク計画への統合を示した。
- 触覚による外部接触パッチ推定に基づく安定配置触覚2023/9/1
把持物体と環境の接触パッチを触覚・力覚から推定し、複雑形状物体を安定に積み重ねるための配置安定性を評価する手法を提案。
- ConceptGraphs: 知覚と計画のためのオープンボキャブラリ3Dシーングラフ3Dシーングラフ2023/9/1
2D基盤モデルを多視点統合して3Dシーングラフを構築し、言語プロンプトによる計画タスクを可能にするオープンボキャブラリ表現を提案。
- 入れ子型マルチエージェント推論のためのニューラル償却推論マルチエージェント推論2023/8/1
高次の社会的推論をニューラルネットワークで償却し、入れ子型マルチエージェント推論を効率化する手法を提案し、2つの課題で精度低下を抑えつつ計算効率を向上させた。
- 大規模言語モデルを用いた協調型身体性エージェントのモジュール構築VLA2023/7/1
LLMを認知モジュールに組み込み、知覚・記憶・実行を統合した協調型身体性エージェントCoELAを構築し、分散制御下での多エージェント協調タスクを効率的に解決できることを示した。
- Physion++:物体の潜在的な物理特性のオンライン推論を必要とする物理的シーン理解の評価物理推論ベンチマーク2023/6/1
物体の質量・摩擦・弾性・変形性といった直接観測できない潜在的な物理特性を、動きや相互作用から推論できるかを評価する新しいデータセットとベンチマークPhysion++を提案し、最先端の予測モデルと人間の予測性能を比較した。
- 行動と言語指示から協調エージェントの目標を推論するマルチエージェント協調2023/6/1
GPT-3を指示文の尤度関数として用い、複数エージェントの行動と言語指示からベイズ逆計画でチームの目標を推論するモデルを提案し、人間の推論と高い相関を示した。
- DexDeform: 人間のデモンストレーションと微分可能物理による巧みな変形物体操作マニピュレーション2023/4/1
人間のテレオペレーションデモからスキルモデルを学習し、微分可能物理で計画を洗練させて、多指ハンドによる変形物体操作を実現するフレームワークを提案。
- 触覚フィルタ:部品嵌合のための対話的触覚知覚触覚2023/3/1
視覚ベース触覚センサとパーティクルフィルタを用いて、ロボットが触覚情報を逐次取得しながら嵌合するペグと穴の推定を改善し、効率的に部品嵌合を行う手法を提案。
- SoftZoo:多様な環境での移動のためのソフトロボット共同設計ベンチマークソフトロボティクス/共同設計2023/3/1
多様な環境での移動を対象に、ソフトロボットの形態と制御を同時最適化する共同設計アルゴリズムを評価するためのベンチマークプラットフォームSoftZooを提案し、既存手法を比較分析した。
- マルチビュー画像からの3D概念学習と推論3D推論2023/3/1
マルチビュー画像から3D表現を構築し、視覚言語モデルとニューラル推論を組み合わせて3D視覚質問応答を行うフレームワークを提案し、大規模ベンチマークを構築した。
- NeuSE: 物体の一貫した空間理解のためのニューラルSE(3)同変埋め込み物体SLAM2023/3/1
物体の部分観測からSE(3)同変な潜在埋め込みを生成し、物体SLAMにおける長期シーン変化に対応した一貫した空間理解と変化認識マッピングを実現する手法を提案。
- PDSketch:計画ドメインのプログラミングと学習の統合計画・学習2023/3/1
遷移モデルの高レベル構造を記述できるドメイン定義言語PDSketchを提案し、学習したモデルから計画ヒューリスティクスを自動生成して新規目標へのオンライン計画を高速化する。
- ConceptFusion: オープンセットなマルチモーダル3Dマッピング3Dマッピング2023/2/1
基盤モデルを活用し、言語・画像・音声など多様なクエリで検索可能なオープンセット3Dシーン表現を構築する手法を提案。
- NOPA: 社会的に知的な家庭用アシスタント構築のためのニューラル誘導オンライン確率支援家庭支援ロボット2023/1/1
家庭内で人間の目標をオンラインで推論し、不確実性に応じて支援計画を適応させるニューラル誘導と確率的推論を組み合わせた手法を提案し、仮想家庭環境での課題で有効性を示した。
- H-SAUR: 仮説・シミュレーション・行動・更新・繰り返しによる物体の関節構造の理解マニピュレーション2022/10/1
関節物体の操作方法を確率的生成モデルで仮説・シミュレーション・行動・更新を繰り返して探索し、目標条件付きマニピュレーションを実現するフレームワークを提案。
- ニューラル記述子場に基づくロバストな変化検出変化検出2022/8/1
カテゴリレベルのニューラル記述子場(NDF)を活用し、部分的な観測や位置推定ノイズに頑健な物体レベルのオンライン変化検出手法を開発した。
- 音と視覚の非同期統合による落下物体の探索マルチモーダル知覚2022/7/1
3D仮想環境で物体が落下する音を聞き、カメラとマイクを備えたロボットが音と視覚情報を統合して物体の種類と位置を特定するタスクを提案し、大規模データセットと模倣学習・強化学習・モジュール型プランニングのベースラインを構築した。
- ニューロシンボリック技能の学習による二層プランニングタスク・モーションプランニング2022/6/1
ロボットの長期タスクを解くため、記号的なオペレータとニューラルなサンプラーに加え、パラメータ化された方策を同時に学習し、探索とサンプリングを組み合わせた二層プランニングで多様なタスクを解決する手法を提案した。
- 少数ショット方策汎化のためのプロンプト付きDecision TransformerVLA2022/6/1
Transformerの系列モデリングとプロンプト枠組みを活用し、少数のデモンストレーションから未知タスクに適応するオフライン強化学習手法Prompt-DTを提案した。
- 微分可能物理を用いた軟体操作のための接触点発見軟体マニピュレーション2022/5/1
最適輸送に基づく接触点探索を微分可能物理ソルバに統合し、軟体プラスチックの変形操作における局所解問題を解決する手法CPDeformを提案。多段階タスク用ベンチマークPlasticineLab-Mも導入した。
- 物理シミュレーションと機能予測で故障した3D物体を修理する物理推論2022/5/1
故障した3D物体を修理するため、知覚・物理ダイナミクス予測・機能予測を統合したFixNetを提案し、約5千体のデータセットFixItでベースラインを大きく上回る性能を示した。
- ComPhy: 動画からの物体と事象の合成的物理推論物理推論2022/5/1
見た目では分からない質量や電荷などの隠れた物理特性を動画から推論するComPhyデータセットを提案し、既存の動画推論モデルの限界を示した。
- レンダリング不変な状態予測と微分可能シミュレーションによるクロスドメイン物理パラメータ推定sim2real2022/5/1
レンダリング設定が未知の動画から物理系のパラメータを推定するため、画像差分を状態差分に変換するレンダリング不変な状態予測ネットワークを微分可能レンダリングの勾配で学習する手法を提案した。
- ニューラル音響場の学習音響場表現2022/4/1
シーン内の音の伝播を線形時不変系として捉え、任意の音源・聴取位置の組から神経インパルス応答を連続的に予測するNeural Acoustic Fieldsを提案した論文。
- DiffSkill: 微分可能物理に基づくスキル抽象化による道具を用いた変形物体操作変形物体操作2022/3/1
微分可能物理シミュレータで短期的な道具操作スキルを獲得し、RGBD画像からスキルを抽象化するニューラルネットを学習して、長期的な変形物体操作タスクを計画・実行するフレームワークを提案した。
- データ効率の良い教師なし再校正ビジュアルサーボのオンライン学習ビジュアルサーボ2022/2/1
ロボットの関節位置から画像特徴を生成する構造化生成モデルをオンライン学習し、50サンプル未満のデータで校正不要のビジュアルサーボを実現、カメラのずれや新物体にも適応できる手法を提案。
- ニューラル記述子場:操作のためのSE(3)同変物体表現マニピュレーション2021/12/1
物体と把持器などの相対姿勢をカテゴリレベルの記述子で符号化し、自己教師あり学習で訓練して、少ない実演から新しい物体への6自由度操作を実現した研究。
- 視覚的関係の合成を学習するシーン生成2021/11/1
物体間の関係をエネルギー-basedモデルとして表現し、複数の関係を因子分解的に合成することで、シーン生成や編集をより忠実に行える手法を提案した。
- OPEn: タスクなしで学ぶためのオープンエンド物理環境世界モデル2021/10/1
特定タスクなしに物理環境を探索して世界モデルを学習し、下流の物理推論タスクへ転移できるかを検証するベンチマークOPEnを構築した研究。
- 社会的相互作用をMDPに組み込む社会的相互作用/MDP2021/10/1
ミクロ社会学の5つの基本的相互作用を、他者の隠れ報酬の関数について推論する入れ子型MDPの拡張として定式化し、新しい環境でもゼロショットで社会的相互作用を実行できるロボットエージェントを実現した。
- 触覚センシングによる手と物体の相互作用の動的モデリング触覚2021/9/1
高解像度触覚グローブで物体操作時の触覚データを取得し、視覚パイプラインで生成したラベルを教師として、触覚のみから手と物体の3D位置を予測するクロスモーダル学習モデルを構築した研究。
- 連続ロボットTAMPのための状態・行動抽象化の発見タスク・動作計画2021/9/1
少数の訓練例から連続ロボットのタスク・動作計画(TAMP)向けに特徴・抽象化・汎用計画を学習し、TAMPソルバの探索効率を改善する手法を提案した論文。
- 二層計画のためのニューロシンボリック関係遷移モデルの学習タスク計画2021/5/1
記号とニューラルを組み合わせた関係遷移モデルを提案し、外側の記号計画が内側の連続計画を導く二層計画を実現。数十〜数百エピソードで学習でき、未見の物体や最大60行動の長いタスクでも高速に計画できることを4つのロボット領域で示した。
- PlasticineLab:微分可能物理を備えた軟体操作ベンチマーク軟体操作/微分可能物理2021/4/1
微分可能な弾性・塑性変形をシミュレートする軟体操作タスク集を提案し、強化学習と勾配ベース手法を比較評価した。
- ThreeDWorld輸送チャレンジ:物理的に現実的な身体性AIのための視覚誘導型タスク・動作計画ベンチマークタスク・動作計画2021/3/1
物理シミュレーション環境で、双腕エージェントが家の中の物体を探して運搬する視覚誘導型タスク・動作計画ベンチマークを提案し、既存手法の性能を評価した。
- 動的シーンの4D表現を学習するニューラル放射フロー4D再構成2020/12/1
RGB画像から動的シーンの3D占有・放射・動きを暗黙的に学習し、多視点レンダリングや動画の超解像・ノイズ除去を可能にする手法を提案。
- 拡張シミュレーションを用いた複雑な実時間物理問題解決のためのデータ効率学習sim2real2020/11/1
物理エンジンとガウス過程回帰の残差モデルを組み合わせ、円形迷路内のビー玉をリアルタイムNMPCで制御する手法を提案した論文。
- ノイジーエージェント:聴覚イベント予測による自己教師あり探索探索/強化学習2020/7/1
音のイベントを予測する誤差を内的報酬として強化学習エージェントの探索を促し、物理環境で物体との接触行動が自然に生まれることを示した研究。
- ThreeDWorld: 対話型マルチモーダル物理シミュレーションプラットフォーム物理シミュレーション2020/7/1
高精細な画像・音声レンダリングと布・液体・変形物体を含む物理相互作用を備え、複数エージェントやVR人間参加が可能な3DシミュレーションプラットフォームTDWを提案し、視覚・学習・認知科学の初期実験を示した。
- 見て、聞いて、行動する:音視覚に基づく身体性ナビゲーション音視覚ナビゲーション2019/12/1
屋内環境でエゴセントリックな視覚・音声入力のみから音源までの最短経路を計画する音視覚ナビゲーション手法を提案し、視覚地図構築・音源定位・動的経路計画を組み合わせて新規データセットで有効性を示した。
- 接触推論による高精度な視覚ベースマニピュレーションマニピュレーション2019/11/1
接触位置の最適化と運動計画を分離し、ニューラルネットと物理的状態表現を組み合わせることで、視覚ベースの平面押し操作の精度と効率を向上させた研究。
- DualSMC: 連続POMDPにおける微分可能なフィルタリングと計画のトンネリングPOMDP/計画2019/9/1
連続POMDPのフィルタリングと計画を2つの関連する逐次モンテカルロ過程として定式化し、敵対的粒子フィルタと不確実性依存の計画を組み合わせたDualSMCネットワークを提案した。
- シミュレーションによる試行錯誤学習が柔軟な道具使用と物理的推論を支える物理推論2019/7/1
人間が少ない試行で多様な物理パズルを解く能力を「Virtual Tools」ゲームで調べ、行動の想像と観察による事前分布更新を組み合わせたSSUPモデルで人間の成績を再現した。
- DensePhysNet:多段動的相互作用による密な物理物体表現の学習物体表現学習2019/6/1
物体を滑らせたり衝突させたりする動的相互作用を能動的に行い、その視覚観測から摩擦や質量などの物理特性を反映したピクセル単位の密な表現を学習する手法を提案した。
- 物理シミュレータと物体ベースネットワークを組み合わせた制御sim2real2019/4/1
物理エンジンと物体ベースのニューラルネットワークを組み合わせたハイブリッド力学モデルSAINを提案し、接触を伴う複雑な制御タスクで精度とデータ効率、汎化性能が向上することを示した。
- 物体指向の予測と計画による物理的相互作用の推論物体中心表現学習2018/12/1
物体中心表現を教師なしで学習し、知覚・物理予測・描画を統合したモデルO2P2を提案。学習済み表現を用いて訓練時より複雑なブロックタワーの構築が可能なことを示した。
- 粒子ダイナミクス学習による剛体・変形物体・流体の操作粒子ベースシミュレーション2018/10/1
粒子ベースのシミュレータを学習により構築し、剛体・軟体・流体など多様な物質の複雑なロボット操作を実現した研究。
- ChainQueen:ソフトロボティクス向けリアルタイム微分可能物理シミュレータsim2real2018/10/1
MLS-MPMに基づく変形物体向けのリアルタイム微分可能シミュレータを提案し、順方向シミュレーションと勾配計算の高精度を実証、約3000変数のソフトロボット制御タスクに適用した。
- 部分観測下のモデルベース制御のための伝播ネットワークモデルベース制御2018/9/1
部分観測環境でも使える学習可能な力学モデルPropNetを提案し、ペアワイズを超えた信号伝播を可能にして、順方向シミュレーションと制御タスクで既存手法を上回る性能を示した論文。
- 確率的ニューラルネットワークによる物理シミュレータの拡張:平面押し出しとバウンドのケーススタディsim2real2018/8/1
解析的な剛体シミュレータに不確実性を残差として学習するニューラルネットを組み合わせ、平面押し出しとボールバウンドの高精度かつ汎用的な物理シミュレータを構築した研究。
- 単眼視・触覚・形状事前知識を統合した3D形状知覚触覚2018/8/1
単眼カラー画像から学習済み形状事前知識を用いて3D形状を予測し、不確実性の高い領域を触覚で能動的に補正することで、約10回の触探索で高精度な物体形状を復元する手法を提案した。
- 画像からの共同注意の検出と活用視線推定2018/4/1
単一の静止画像から3D視線方向と深度マップを用いて複数人が同じ対象を見る「共同注意」を検出し、画像キャプション生成への有用性を人による実験で示した論文。
