Ali Farhadi
収録論文 28本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 未来の把持を予測する:インターネット動画からの3D手・物体の統合予測手・物体予測2026/11/9
インターネット動画から手と物体の3D動作を再構成し、マスク付き時空間補完とフローマッチングで将来の手・物体の動きを統合的に予測する生成モデルを提案した論文。
- ロボット操作における常識推論を評価するMolmoSpaces-CommonSenseベンチマークベンチマーク2026/10/30
発達認知科学に基づく推論分類を導入し、遮蔽・包含・支持関係・隠れた物体などを含むロボット操作タスクの新ベンチマークを構築、ゼロショット汎用操作ポリシーが常識推論で一貫して失敗することを示した。
- MolmoAct2: 実世界展開のための行動推論モデルVLA2026/5/1
実世界展開に適した完全オープンな行動推論モデルMolmoAct2を提案し、空間推論に特化したVLMバックボーン、新しいデータセット、オープンな行動トーカナイザ、適応的推論機構などを導入して性能と効率を向上させた。
- MolmoB0T: 大規模シミュレーションによるゼロショット操作の実現操作2026/3/1
大規模で多様なシミュレーションデータのみを用いて、実世界へのゼロショット転移が可能であることを示し、静的・移動操作の両方で有効なポリシーを訓練した。
- 上手くいく動作を模倣:人間動画からのシミュレーション選別モジュール型方策学習マニピュレーション2026/2/1
人間の動画から把持後の動作を学び、シミュレーションで把持の適合性を選別することで、ロボットデータなしに精密なマニピュレーションを実現するモジュール型方策学習フレームワークを提案。
- MolmoSpaces:ロボットナビゲーションとマニピュレーションのための大規模オープンエコシステムsim2real2026/2/1
23万以上の多様な屋内環境と13万の物体アセットを備え、MuJoCoやIsaacなど複数シミュレータで使えるオープンなロボットベンチマーク基盤を構築し、実機との高い相関を示した。
- MolmoAct: 空間で推論できる行動推論モデルVLA2025/8/1
知覚・計画・制御を3段階で統合し、深度を考慮した知覚トークンから編集可能な軌道計画を生成して低レベル行動を予測するロボット基盤モデルを提案。シミュレーションと実世界で高い性能を示し、1万件超の軌道データセットも公開した。
- 収束する機能、発散する形態:形態と制御の効率的な共設計フレームワークLOKI形態と制御の共設計2025/5/1
形態と制御方策を同時に設計する際、類似形態をクラスタ化して方策を共有し、局所探索で多様性を確保することで、計算コストを大幅に削減しつつ多様で汎用性の高いロボット形態を生成する手法を提案。
- DRAWER: 実環境のリアリズムを備えたデジタル再構築と関節構造の再現sim2real2025/4/1
室内シーンの動画から、細部まで再現されたフォトリアルで操作可能なデジタル環境を自動生成するフレームワークを提案し、ゲーム制作やロボティクスのsim-to-real転移に応用した。
- One RING:ロボット屋内ナビゲーションの汎用モデルナビゲーション2024/12/1
シミュレーションで大規模な機体形状のランダム化を行い、様々な実機ロボットに適応できる機体非依存の屋内ナビゲーション方策を学習した。
- 自分で説明書を作って組み立てることを学ぶマニピュレーション2024/10/1
LEGO組み立てタスクにおいて、エージェントが分解しながら画像を保存して自分用の説明書を作り、それを使って未知の組み立てを再現する手法を提案。
- FLaRe: 大規模強化学習ファインチューニングによる熟達した適応型ロボットポリシーVLA2024/9/1
事前学習済みロボットポリシーを大規模強化学習でファインチューニングし、未見環境での長期的移動操作タスクの成功率を大幅に向上させ、新しい身体や行動への迅速な適応を実現した。
- 後退して前進する:行動意味論に行動影響を埋め込むナビゲーション2023/4/1
行動の影響が環境によって変化する場合でも、潜在埋め込みで行動の実際の影響をオンライン推定し、Transformerベースのポリシーヘッドと組み合わせることで、欠損や未知の摂動を含む行動空間に頑健な視覚ナビゲーションを実現した。
- Phone2Proc: 混沌とした実世界に頑健なロボットを送り出すsim2real2022/12/1
スマホで10分スキャンした部屋の間取りを条件に多様な訓練シーンを自動生成し、実環境でのObjectNav成功率を34.7%から70.7%へ大幅に改善した。
- Objaverse: 注釈付き3Dオブジェクトの大規模データセット3Dデータセット2022/12/1
80万以上の3Dモデルとキャプション・タグ・アニメーションを備えた大規模データセットを構築し、3D生成や物体ナビゲーションなど多様な応用可能性を示した。
- 自己教師あり物体ゴールナビゲーションと実環境でのオンライン微調整物体ナビゲーション2022/12/1
位置一貫性を自己教師信号として使うことで、ラベル付き3Dメッシュに頼らず物体ナビゲーションエージェントを学習し、実環境でのオンライン微調整も可能にした研究。
- SAFER: 強化学習と効率的軌道探索による安全な衝突回避衝突回避2022/9/1
操作者の制御指令を補正し、強化学習と探索ベースの軌道計画、自動緊急ブレーキを組み合わせて、実環境で安全に学習しながら衝突回避性能を高めるシステムを提案した。
- ProcTHOR: 手続き型生成による大規模身体性AI環境sim2real2022/6/1
手続き型生成で多様な仮想環境を大量に作り出し、身体性AIエージェントの学習・評価を可能にするフレームワークを提案。生成した1万件の家で学習したモデルが複数のベンチマークで最高性能を達成。
- 視覚的物体位置推定による物体操作マニピュレーション2022/3/1
エージェントが環境を探索して対象物体の3D位置を推定し、見えない時も位置を追跡することで物体操作の成功率を3倍向上させた研究。
- LanguageRefer: 3D視覚グラウンディングのための空間言語モデル3D視覚グラウンディング2021/7/1
点群で再構成された3Dシーンと指示文から対象物体を特定するTransformerベースの空間言語モデルを提案し、ReferIt3Dデータセットで競争力のある性能を示した。
- 押しのけて進む:インタラクティブ視覚ナビゲーションナビゲーション2021/4/1
エージェントが行動による環境変化を予測するNeural Interaction Engineを導入し、障害物を押しのけて目標へ効率的に到達するインタラクティブ視覚ナビゲーションを実現した。
- RoboTHOR:シミュレーションから実世界への転移を目指す embodied AI プラットフォームsim2real2020/4/1
シミュレーション環境と対応する実世界環境をペアで提供し、遠隔から実機でモデルを評価できる embodied AI の基盤を構築した。sim2real の性能ギャップを定量的に示した。
- フォースを推測せよ:効果シミュレーションによる物理力予測の学習物理推論2020/3/1
人間と物体の接触動画から接触点と物理力を推定するため、物理シミュレータで予測効果を監督信号として用いる手法を提案し、力の予測と動作の模倣、接触点との同時最適化、少数例での新規物体への汎化を示した。
- 自然言語指示に従う条件付き自動運転自動運転2019/10/1
人間の運転手とナビゲータから収集した言語データを用い、階層的ポリシーと条件付き模倣学習により自然言語の指示を解釈して安全に走行する自動運転エージェントを提案した。
- メタ学習による自己適応型視覚ナビゲーション視覚ナビゲーション2018/12/1
視覚ナビゲーションにおいて、訓練時とテスト時の両方で適応を学習するメタ強化学習手法SAVNを提案し、未知のシーンへの汎化性能を向上させた。
- シーンプライアを用いた視覚意味ナビゲーション視覚ナビゲーション2018/10/1
物体間の意味的・機能的な関係を知識グラフとして取り込み、グラフ畳み込みネットワークと深層強化学習を組み合わせて、未知のシーンでも目的物体へ効率的にナビゲーションする手法を提案した。
- 深層後継表現を用いた視覚的意味計画視覚計画2017/5/1
視覚環境で初期状態から目標状態へ遷移する行動列を予測するため、模倣学習で強化学習をブートストラップし、後継表現に基づく深層予測モデルでタスク間の汎化を実現した。
- YOLO:統一されたリアルタイム物体検出物体検出2015/6/1
物体検出を単一ニューラルネットワークによる回帰問題として定式化し、画像から直接バウンディングボックスとクラス確率を高速に予測する手法を提案した。
