Antonio Torralba
収録論文 36本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 遅い視覚と速い触覚をつなぐT-WLA触覚2026/10/20
視覚ポリシーの更新を待たずに触覚で未実行動作を補正するworld-language-actionアーキテクチャを提案し、手指動作予測と実機巧緻操作で有効性を示した。
- ロボットエージェントのためのオンライン探索スケーリングロボットエージェント/オンライン探索2026/10/15
汎用コーディングエージェントがロボット制御コードを生成し、オンライン探索でタスク達成の行動系列を発見・プログラム化するフレームワークRAXを提案。単腕・双腕・多指・移動・ヒューマノイドで実機・シミュレーション検証し、探索規模拡大に伴う汎化性能向上を示した。
- EnvDreamer: 大規模マルチモーダルから環境生成による身体性AIの実現sim2real2026/10/3
大規模言語・視覚言語モデルを用いてUnreal Engine 5の多様な仮想環境を自動生成し、ナビゲーションや操作タスクの学習・評価を可能にするフレームワークを提案。2万環境のデータセットも公開。
- Bスプライン方策:Bスプライン行動表現による操作方策の高速化マニピュレーション2026/7/1
離散時刻の行動チャンクの代わりにBスプライン曲線で行動を表現し、操作方策の実行を高速化する手法を提案した論文。
- 動画生成のための動き帰属分析動画生成2026/1/1
動画生成モデルにおいて、どの微調整クリップが時間的動きを改善・悪化させるかを特定する、動き中心の勾配ベースデータ帰属フレームワークを提案し、データ選別による動きの品質向上を実現した。
- OpenTouch: 実世界インタラクションに全手触覚をもたらす触覚2025/12/1
一人称視点の動画と全手の触覚・姿勢を同期した初の実世界データセットを構築し、触覚が把持理解やクロスモーダル alignment に有効であることを示した。
- 再帰的割り当てによる適応的可変長画像トークン化画像トークン化2024/11/1
画像の情報量に応じて32〜256個のトークン数を再帰的に増減させる可変長トークナイザを提案し、再構成誤差とFIDで有効性を検証した。
- ConceptGraphs: 知覚と計画のためのオープンボキャブラリ3Dシーングラフ3Dシーングラフ2023/9/1
2D基盤モデルを多視点統合して3Dシーングラフを構築し、言語プロンプトによる計画タスクを可能にするオープンボキャブラリ表現を提案。
- 何でも追従:実時間でのオープンセット検出・追跡・追従追従/オープンセット検出2023/8/1
テキスト・画像・クリックのマルチモーダルなクエリで任意の物体を検出・追跡し、ドローンで実時間追従するオープンボキャブラリなロボットシステムを提案。
- FluidLab: 複雑な流体操作をベンチマークするための微分可能環境流体操作2023/3/1
複雑な流体力学を扱う多様な操作タスクを備えたGPU加速の微分可能シミュレーション環境FluidLabを提案し、強化学習と軌道最適化手法で評価した。
- ConceptFusion: オープンセットなマルチモーダル3Dマッピング3Dマッピング2023/2/1
基盤モデルを活用し、言語・画像・音声など多様なクエリで検索可能なオープンセット3Dシーン表現を構築する手法を提案。
- NOPA: 社会的に知的な家庭用アシスタント構築のためのニューラル誘導オンライン確率支援家庭支援ロボット2023/1/1
家庭内で人間の目標をオンラインで推論し、不確実性に応じて支援計画を適応させるニューラル誘導と確率的推論を組み合わせた手法を提案し、仮想家庭環境での課題で有効性を示した。
- 音と視覚の非同期統合による落下物体の探索マルチモーダル知覚2022/7/1
3D仮想環境で物体が落下する音を聞き、カメラとマイクを備えたロボットが音と視覚情報を統合して物体の種類と位置を特定するタスクを提案し、大規模データセットと模倣学習・強化学習・モジュール型プランニングのベースラインを構築した。
- 仮想対応点:人間を手がかりにした極端視点幾何の復元3D再構成2022/6/1
画像間で重なりがほとんどない極端な視点でも、人間の形状知識を手がかりに「仮想対応点」を推定し、カメラ姿勢や3D復元を高精度に行う手法を提案した論文。
- 物理シミュレーションと機能予測で故障した3D物体を修理する物理推論2022/5/1
故障した3D物体を修理するため、知覚・物理ダイナミクス予測・機能予測を統合したFixNetを提案し、約5千体のデータセットFixItでベースラインを大きく上回る性能を示した。
- ComPhy: 動画からの物体と事象の合成的物理推論物理推論2022/5/1
見た目では分からない質量や電荷などの隠れた物理特性を動画から推論するComPhyデータセットを提案し、既存の動画推論モデルの限界を示した。
- ニューラル音響場の学習音響場表現2022/4/1
シーン内の音の伝播を線形時不変系として捉え、任意の音源・聴取位置の組から神経インパルス応答を連続的に予測するNeural Acoustic Fieldsを提案した論文。
- 自然言語フィードバックによるロボット計画の修正言語指示2022/4/1
自然言語の文をコスト関数の変換に対応付け、目標の修正や制約追加、計画誤りの回復を可能にする手法を提案した論文。
- 視覚的関係の合成を学習するシーン生成2021/11/1
物体間の関係をエネルギー-basedモデルとして表現し、複数の関係を因子分解的に合成することで、シーン生成や編集をより忠実に行える手法を提案した。
- OPEn: タスクなしで学ぶためのオープンエンド物理環境世界モデル2021/10/1
特定タスクなしに物理環境を探索して世界モデルを学習し、下流の物理推論タスクへ転移できるかを検証するベンチマークOPEnを構築した研究。
- 潜在言語によるスキル誘導と計画VLA2021/10/1
少数の言語注釈付きデモから階層的ポリシーを学習し、自然言語コマンドで再利用可能なスキルを組み合わせて新しい目標への計画を生成する手法を提案。ALFRED環境で10%の注釈のみで最先端に匹敵するタスク完了率を達成。
- 触覚センシングによる手と物体の相互作用の動的モデリング触覚2021/9/1
高解像度触覚グローブで物体操作時の触覚データを取得し、視覚パイプラインで生成したラベルを教師として、触覚のみから手と物体の3D位置を予測するクロスモーダル学習モデルを構築した研究。
- 視覚運動制御のための3Dニューラルシーン表現視覚運動制御2021/7/1
NeRFと時間コントラスト学習を組み合わせ、2D画像から視点不変な3Dシーン表現を学習し、剛体や流体の操作タスクにおける視覚運動制御を実現した研究。
- バンドル調整付きNeRF:未知カメラ姿勢からの3D表現学習NeRF/位置合わせ2021/4/1
カメラ姿勢が未知・不正確な場合でもNeRFを学習できるよう、古典的画像位置合わせの粗から細への登録をNeRFに統合したBARFを提案し、合成・実データで姿勢推定と新規視点合成の有効性を示した。
- DriveGAN:制御可能な高品質ニューラルシミュレータへの挑戦ニューラルシミュレーション2021/4/1
未注釈の動画と操作のペアからピクセル空間で動的環境をシミュレートするニューラルシミュレータDriveGANを提案し、天候や物体位置などの制御も可能にした。
- マッコウクジラのコミュニケーション解読へのロードマップ:鯨類翻訳イニシアチブ動物コミュニケーション解析2021/4/1
機械学習を活用してマッコウクジラの音響コミュニケーションを収集・処理・解析し、その言語的構造を解読するための多分野連携ロードマップを提示した論文。
- ThreeDWorld輸送チャレンジ:物理的に現実的な身体性AIのための視覚誘導型タスク・動作計画ベンチマークタスク・動作計画2021/3/1
物理シミュレーション環境で、双腕エージェントが家の中の物体を探して運搬する視覚誘導型タスク・動作計画ベンチマークを提案し、既存手法の性能を評価した。
- フィードバックによる逆問題の反復解法逆問題2021/1/1
順過程が返すフィードバック信号を入力に反復更新モデルを学習し、姿勢推定や照明推定などの逆問題を高速かつ高精度に解く手法を提案した。
- ノイジーエージェント:聴覚イベント予測による自己教師あり探索探索/強化学習2020/7/1
音のイベントを予測する誤差を内的報酬として強化学習エージェントの探索を促し、物理環境で物体との接触行動が自然に生まれることを示した研究。
- ThreeDWorld: 対話型マルチモーダル物理シミュレーションプラットフォーム物理シミュレーション2020/7/1
高精細な画像・音声レンダリングと布・液体・変形物体を含む物理相互作用を備え、複数エージェントやVR人間参加が可能な3DシミュレーションプラットフォームTDWを提案し、視覚・学習・認知科学の初期実験を示した。
- 物体数可変環境のための合成Koopmanオペレータ学習モデルベース制御2019/10/1
グラフニューラルネットで物体中心の埋め込みを構成し、ブロック単位の線形遷移行列でKoopmanオペレータを学習することで、物体数が変化する環境でもモデルベース制御を可能にした。
- 視覚と触覚をつなぐクロスモーダル予測マルチモーダル学習2019/6/1
視覚と触覚の相互変換を実現するため、ロボットに両センサーを搭載して大規模データセットを収集し、スケール差を考慮した条件付き敵対的モデルで触覚から視覚、視覚から触覚の生成を行う。
- 粒子ダイナミクス学習による剛体・変形物体・流体の操作粒子ベースシミュレーション2018/10/1
粒子ベースのシミュレータを学習により構築し、剛体・軟体・流体など多様な物質の複雑なロボット操作を実現した研究。
- 部分観測下のモデルベース制御のための伝播ネットワークモデルベース制御2018/9/1
部分観測環境でも使える学習可能な力学モデルPropNetを提案し、ペアワイズを超えた信号伝播を可能にして、順方向シミュレーションと制御タスクで既存手法を上回る性能を示した論文。
- 合成データで学習するリアルタイム6DoF物体姿勢推定姿勢推定2018/8/1
合成姿勢データのみで学習したPose Interpreter NetworkとRGBセグメンテーションを組み合わせ、深度情報なしで実時間(20Hz)の6DoF物体姿勢推定を実現した。
- SegICP: 深層意味セグメンテーションと姿勢推定の統合姿勢推定2017/3/1
畳み込みニューラルネットと複数仮説の点群位置合わせを組み合わせ、対象物体の画素単位の意味セグメンテーションとリアルタイム6自由度姿勢推定を初期値なしで高精度に実現した。
