Roozbeh Mottaghi
Meta
収録論文 36本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 未来の把持を予測する:インターネット動画からの3D手・物体の統合予測手・物体予測2026/11/9
インターネット動画から手と物体の3D動作を再構成し、マスク付き時空間補完とフローマッチングで将来の手・物体の動きを統合的に予測する生成モデルを提案した論文。
- 非対称オンポリシー蒸留による文脈内探索の学習模倣学習2026/10/21
部分観測下で学生が自身の履歴に基づき収集したデータに特権専門家の行動をラベル付けして蒸留し、強化学習なしでテスト時の探索行動を学習する手法を提案。
- ADAPT: あらゆるタスクの選好を能動的に発見・適応する手法VLA2025/4/1
ユーザーの選好を能動的な質問で引き出しながら家事タスクを遂行するベンチマークADAPTと、そのためのLLM訓練手法Reflection-DPOを提案。
- PARTNR: 家庭内協働タスクにおける計画と推論のベンチマークマルチエージェント協働2024/11/1
人間とロボットの家庭内協働を評価するため、LLMとシミュレーションを組み合わせて10万件の自然言語タスクからなる大規模ベンチマークを構築し、最先端LLMの協調・計画能力の限界を明らかにした。
- 家庭内でのオープンワールド移動マニピュレーションに向けて:NeurIPS 2023 HomeRobotオープン語彙移動マニピュレーションチャレンジからの教訓移動マニピュレーション2024/7/1
家庭環境で任意の物体を見つけて任意の場所に置くオープン語彙移動マニピュレーションのベンチマークを提案し、NeurIPS 2023コンペを実施。シミュレーションと実世界で評価し、成功チームに共通するエラー検出・回復と知覚・意思決定の統合の重要性を示した。
- 状況依存型指示追従指示追従2024/7/1
人間がその場で発する曖昧で時間的に変化する指示を、過去の行動や文脈から解釈してロボットが実行する「状況依存型指示追従」を提案し、既存のEIFモデルが人間の意図を十分に理解できないことを示した。
- Track2Act: インターネット動画からの点トラック予測による汎化可能なロボットマニピュレーションマニピュレーション2024/5/1
ウェブ上の人間やロボットの動画から画像内の点の動きを予測し、それを物体の剛体変換に変換してロボットの手先軌道を生成することで、未見の物体や場面でも適応なしに操作できる汎用的なマニピュレーション手法を提案した。
- GOAT-Bench: マルチモーダル生涯ナビゲーションのベンチマークナビゲーション2024/4/1
カテゴリ名・言語記述・画像など様々な形式の目標に対応する万能ナビゲーションタスク「GOAT」のベンチマークを提案し、RLやモジュラー手法を評価した。
- GOAT: どこへでも行ける万能ナビゲーションシステムナビゲーション2023/11/1
カテゴリ・画像・言語で指定された目標へ移動できる、経験から学習し異なるロボットにも展開可能なナビゲーションシステムを提案し、実環境で83%の成功率を達成した。
- Habitat 3.0:人間・アバター・ロボットの共生シミュレーション基盤sim2real2023/10/1
家庭環境での人間とロボットの協調作業を研究するためのシミュレーションプラットフォームHabitat 3.0を提案し、人間参加型の評価基盤と社会的ナビゲーション・片付けタスクを実装した。
- Galactic: 毎秒10万ステップで物体再配置を学習する大規模強化学習フレームワーク移動マニピュレーション2023/6/1
家庭内での移動マニピュレーションによる物体再配置タスクを、シミュレーションと強化学習を統合して毎秒10万ステップ超で学習できる高速フレームワークGalacticを提案し、50億ステップの大規模学習を実現した。
- HomeRobot: オープンボキャブラリな移動マニピュレーション移動マニピュレーション2023/6/1
家庭環境で未知の物体を把持し指定場所に置くオープンボキャブラリ移動マニピュレーションのベンチマークを、シミュレーションと実機の両方で構築し、強化学習とヒューリスティックのベースラインを評価した。
- 画像で指定された物体へのナビゲーションナビゲーション2023/4/1
画像で指定された物体を探索・再同定・位置推定し、未知環境でロボットを目的地へ誘導するモジュール型システムを構築し、実機で88%の成功率を達成した。
- 後退して前進する:行動意味論に行動影響を埋め込むナビゲーション2023/4/1
行動の影響が環境によって変化する場合でも、潜在埋め込みで行動の実際の影響をオンライン推定し、Transformerベースのポリシーヘッドと組み合わせることで、欠損や未知の摂動を含む行動空間に頑健な視覚ナビゲーションを実現した。
- 身体性ナビゲーション軌道学習器ENTLナビゲーション2023/4/1
世界モデリング・自己位置推定・模倣学習を単一の系列予測タスクに統合し、報酬信号なしで事前学習することで複数のナビゲーションタスクに汎化する手法を提案。
- ナビゲーションエージェントは環境について何を学習するのか?ナビゲーション2022/6/1
視覚ナビゲーションエージェントの内部表現を解析する解釈システムiSEEを提案し、障害物回避や目標可視性、進捗などの情報が動的に符号化されていることを明らかにした。
- ProcTHOR: 手続き型生成による大規模身体性AI環境sim2real2022/6/1
手続き型生成で多様な仮想環境を大量に作り出し、身体性AIエージェントの学習・評価を可能にするフレームワークを提案。生成した1万件の家で学習したモデルが複数のベンチマークで最高性能を達成。
- 身体性AIのための連続的シーン表現シーン表現2022/3/1
空間を移動するエージェントが物体間の関係を連続値埋め込みで表現し、グラフ構造として動的に構築するシーン表現手法を提案。部屋の再配置タスクで既存手法を上回る。
- 視覚的物体位置推定による物体操作マニピュレーション2022/3/1
エージェントが環境を探索して対象物体の3D位置を推定し、見えない時も位置を追跡することで物体操作の成功率を3倍向上させた研究。
- Interactron: 環境との対話で自己適応する物体検出物体検出2022/2/1
移動エージェントが未知環境を探索しながら、教師なしで推論中もモデルを適応させ続ける物体検出法を提案し、DETR比でAPを7.2ポイント改善した。
- RobustNav:実環境ナビゲーションエージェントのロバスト性を評価するベンチマークナビゲーション2021/6/1
視覚ノイズや動力学の乱れに対する屋内ナビゲーションエージェントの頑健性を体系的に評価するフレームワークRobustNavを提案し、既存手法が大きく性能低下することを示した。
- 押しのけて進む:インタラクティブ視覚ナビゲーションナビゲーション2021/4/1
エージェントが行動による環境変化を予測するNeural Interaction Engineを導入し、障害物を押しのけて目標へ効率的に到達するインタラクティブ視覚ナビゲーションを実現した。
- ManipulaTHOR:視覚に基づく物体操作のためのフレームワークマニピュレーション2021/4/1
物理シミュレーション環境AI2-THOR上に構築した物体操作フレームワークを提案し、移動エージェントによる3D障害物回避や遮蔽下での操作を含む新課題ArmPointNavを提示した論文。
- 視覚に基づく部屋の再配置タスクマニピュレーション2021/3/1
部屋の物体の初期配置を記憶し、変更後に元に戻すRoom RearrangementタスクのデータセットRoomRとベースラインモデルを提案した論文。
- 知覚と方策を分離した対話型指示追従モデルVLA2020/12/1
家庭内タスクの言語指示を、物体中心の知覚ストリームと行動方策ストリームに分離して解くMOCAを提案し、ALFREDベンチマークで大幅な性能向上と汎化改善を示した。
- 再配置:身体性AIへの挑戦身体性AI2020/11/1
物体を指定された状態に並べ替える「再配置」タスクを身体性AI研究の共通ベンチマークとして提案し、4つのシミュレーション環境と評価指標を示した論文。
- AllenAct:身体性AI研究のためのモジュラーフレームワーク身体性AIフレームワーク2020/8/1
多様な身体性AI環境・タスク・アルゴリズムを統一的に扱えるモジュール式学習フレームワークAllenActを提案し、再現実装やチュートリアルを提供する。
- ObjectNav再考:物体ゴールナビゲーションの評価指針物体ナビゲーション2020/6/1
未探索環境でラベル指定された物体を探して移動するObjectNavタスクについて、評価基準・エージェント身体仕様・環境特性の標準的な指針を整理し、CVPR2020のEmbodied AIワークショップでの実装例を示した合意文書。
- 物体とのインタラクションを通じて物体を学ぶ物体認識2020/6/1
乳児の遊びによる学習に着想を得て、物理シミュレーション環境内でエージェントが自ら物体と相互作用し、外部教師なしで物体の発見や形状・相対質量を学習する枠組みを提案した。
- RoboTHOR:シミュレーションから実世界への転移を目指す embodied AI プラットフォームsim2real2020/4/1
シミュレーション環境と対応する実世界環境をペアで提供し、遠隔から実機でモデルを評価できる embodied AI の基盤を構築した。sim2real の性能ギャップを定量的に示した。
- ALFRED:日常タスクの指示を解釈するためのベンチマークVLA2019/12/1
自然言語の指示と視点映像から家庭内タスクの行動系列を学習するベンチマークALFREDを提案し、既存モデルでは性能が低いことを示した。
- 人工知能のためのゲームとシミュレーションに関するAAAI-2019ワークショップシミュレーション2019/3/1
AAAI-2019で開催された、AI研究向けのゲーム・シミュレーション環境に関するワークショップの採択論文をまとめた論文集。
- メタ学習による自己適応型視覚ナビゲーション視覚ナビゲーション2018/12/1
視覚ナビゲーションにおいて、訓練時とテスト時の両方で適応を学習するメタ強化学習手法SAVNを提案し、未知のシーンへの汎化性能を向上させた。
- シーンプライアを用いた視覚意味ナビゲーション視覚ナビゲーション2018/10/1
物体間の意味的・機能的な関係を知識グラフとして取り込み、グラフ畳み込みネットワークと深層強化学習を組み合わせて、未知のシーンでも目的物体へ効率的にナビゲーションする手法を提案した。
- 身体性ナビゲーションエージェントの評価に関する合意形成ナビゲーション2018/7/1
3次元環境で移動するAIエージェントの研究が乱立する中、作業部会が問題設定・汎化の役割・評価指標・標準ベンチマークシナリオについて合意した推奨事項をまとめた論文。
- 深層後継表現を用いた視覚的意味計画視覚計画2017/5/1
視覚環境で初期状態から目標状態へ遷移する行動列を予測するため、模倣学習で強化学習をブートストラップし、後継表現に基づく深層予測モデルでタスク間の汎化を実現した。
