Jiajun Wu
Stanford University
収録論文 120本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 実世界デビュー前の統一試験：コーディングエージェントによるロボット制御ベンチマークベンチマーク/エージェント2026/11/9
コーディングエージェントが多様なロボットを物理制約下で制御できるかを評価するため、47体のロボット・35スイート・1,156タスクからなる統一ベンチマーク「Embodied First Exam」を提案した。
- ToolDex: 創造的な道具使用のための自己中心・外界中心人間デモンストレーションデータセット道具使用データセット2026/11/6
人間が身近な物体を道具として選び・加工し・転用する様子を、自己中心カメラと8台の外界カメラで同期収録した大規模データセットを構築し、道具使用推論・疎視点3D/4D再構成・ロボット方策学習のベンチマークを整備した。
- DyCraft: 長期的な4Dシーン生成のためのエージェントシステム4Dシーン生成2026/10/29
アニメーション制作をキーポーズの3Dストーリーボードに分解し、コーディングエージェントが局所的な動きを検証しながら生成することで、物理的に整合した長期的4Dシーンを実現するシステム。
- BEHAVIOR-Spatial：ロボットの空間理解を評価するベンチマークVLA2026/10/25
BEHAVIOR-1K上に構築した空間QA・目標グラウンディング・ロボット行動のベンチマークで、VLMの空間理解がVLA行動にどう結びつくかを調べた。指示変更時の成功率低下や知覚性能と行動の相関を明らかにした。
- UniAction: 世界モデルのための統合アクション条件付け世界モデル2026/10/23
力・カメラ・手・ロボット姿勢など異種のアクションを共通の要素表現に変換し、単一の動画世界モデルで統合的に条件付けできるフレームワークを提案した。
- 夢見たことを実現：長期的ロボット操作のためのスパース視覚計画視覚計画2026/10/18
動画モデルをスパースな視覚サブゴール計画に接地させる階層型ポリシーDreamCanを提案し、長期的な操作タスクで高い成功率を達成した。
- T2-Z: ロボット世界モデルのためのテスト時環境潜在最適化世界モデル2026/10/15
世界モデルに学習可能な環境潜在を付加し、テスト時に少数の相互作用から潜在を最適化することで未知環境へ適応する手法を提案。
- I3L: 全身移動マニピュレーションのための反復対話型模倣学習模倣学習2026/10/13
低コストな操作インターフェースと反復的な方策改善を組み合わせ、全身移動マニピュレーションのオフライン学習の失敗を修正するシステムを提案。実機とシミュレーションで成功率を大幅に向上させた。
- 人間とVLAのコミュニケーションギャップ：人間が暗黙に残す情報とポリシーが復元できないものVLA2026/10/13
人間が自然にタスクを指示する際の暗黙的な情報の欠落と、VLAポリシーがそれをどう補えないかを「情報ギャップ」と「実行ギャップ」に分けて分析した研究。
- FACT: 人間からロボットへの巧みな操作のためのマルチモーダル力・行動・トラック基盤モデルマニピュレーション2026/10/13
人間の触覚データセットEgoForceとロボット実演を組み合わせ、視覚計画から力に基づく微調整へと段階的に処理する基盤モデルFACTを提案。道具使用や楽器演奏など10タスクで最大60ポイントの成功率向上を達成。
- Co-DSL：人間とLLMの協調によるレイアウト生成のための再利用可能な空間概念の設計レイアウト生成2026/10/11
ユーザーとLLMが協調して再利用可能な空間概念を設計し、その概念を組み合わせてレイアウトを生成するフレームワークを提案。
- 潜在行動によるクロスエンボディメント・ロボット基盤ワールドモデルワールドモデル2026/10/7
多様なロボットの身体と行動空間を統一した潜在行動空間で扱うワールドモデルLAC-WMを提案し、未知の身体への適応性能が最大46.7%向上することを示した。
- RoboRender: ロボット指向の動画生成による視覚的Sim-to-Real転移sim2real2026/10/7
シミュレーションの深度動画・言語指示・ロボットマスクから写実的なRGB動画を生成し、実機へゼロショット転移可能な方策を学習するフレームワーク。
- OpenWAM: 構成可能なWorld-ActionモデルのためのオープンフレームワークVLA2026/10/6
ロボット動画の基盤モデルと構成可能な映像-行動相互作用を組み合わせたオープンなWorld-Actionモデリング枠組みを提案し、LIBEROや実機タスクで高い成功率を達成した。
- 展開を通じたロボットオーケストレーターとポリシーの共進化VLA2026/10/6
VLMオーケストレーターとVLAポリシーを実展開中に共進化させ、自己生成したデモでポリシーを微調整し検証後に採用することで、実世界タスクの成功率を向上させる手法Robo-COPを提案。
- MobileVISTA: 移動マニピュレーションにおける姿勢汎化のための生成データ拡張移動マニピュレーション2026/10/5
単一姿勢の実演データから、視覚観測の拡張と動作の再ターゲティングを組み合わせて姿勢摂動に頑健な訓練データを生成し、ヒューマノイドや双腕ロボットの移動マニピュレーションの汎化性能を向上させるフレームワーク。
- 視覚による力予測を用いたロボット学習マニピュレーション2026/10/3
柔軟なFin Rayグリッパの変形から視覚的に力を予測し、力覚センサなしで接触を伴うマニピュレーションを実現する手法を提案。
- ECoMEM: 記憶依存型ロボット制御のための明示的概念メモリVLA2026/9/30
タスクに関連する過去の情報を「概念」として明示的に記録・更新し、それをVLAポリシーの条件付けに使うメモリ機構を提案。長期的タスクや実機タスクで高い成功率を達成した。
- DITTO-X: 巧みな操作と人間介入のための順方向・逆方向テレオペレーションテレオペレーション2026/9/30
ロボットハンドの関節力と指先接触を提示し、逆方向テレオペレーションで操作者の指をロボットの姿勢に合わせる、ハンド非依存の巧みなテレオペレーションインターフェースを提案。
- T²Mem: ロボティクスのためのテスト時メモリ学習VLA2026/9/29
事前学習済み視覚言語行動ポリシーに、テスト時訓練で観測履歴を圧縮した高速重みとして記憶させ、記憶不要なベース方策を大きく上回る成功率を達成した手法。
- DexAgent: 自己進化するツールライブラリを備えたエージェント型Human2Sim2Robotフレームワークによる巧みな操作マニピュレーション2026/9/28
一人称視点の人間動画とタスク指示から、物理的に妥当なロボット軌道を生成して方策学習を可能にするエージェント型フレームワークを提案。ツールライブラリを自己進化させ、多様な物体や長期的タスクに対応する。
- TrAct: ロボット制御と視覚予測を視覚トラックで橋渡しするVLA/世界モデル2026/8/25
ロボットの行動と画像変化の弱い対応を補うため、視覚トラックを中間表現として用いる世界モデルベースの意思決定フレームワークTrActを提案。シミュレーションと実機で成功率を大幅に向上させた。
- APIVOT: 視覚と言語の思考を適応的に交互配置する長期的計画手法計画2026/7/1
長期的なロボット計画において、言語による意味推論と視覚による幾何学的検証を適応的に交互に行うVLMベースのプランナーを提案し、キッチンタスクで性能を向上させた。
- マスク視覚アクションによる統一世界モデリング世界モデル2026/7/1
ロボットの行動をビデオのピクセル空間で表現する新しいインターフェースを導入し、少量のデータで学習したモデルが将来予測や逆モデリングを実現する。
- DIRECT: 身体化プランナーにおけるテスト時計算の割り当てはいつ、どこで行うべきか？VLA/プランニング2026/6/10
VLMを高レベルプランナーとして使う際、テスト時計算を増やすと性能が上がるが、コストも増える。シーン文脈に基づいて計算をルーティングするDIRECTを提案し、成功率とコストのトレードオフを改善した。
- InSight: 操縦可能なVLAによる自己誘導型スキル獲得VLA/スキル獲得2026/6/1
VLAモデルにプリミティブ動作レベルでの操縦性を持たせ、デモンストレーションの自動分割とVLMによるデータ収集のフィードバックループを通じて、人間のデモなしに新しい操作スキルを自律的に獲得するフレームワークを提案した。
- CoStream: 単純な行動の合成による汎用的な複雑操作の実現マニピュレーション2026/6/1
複雑な操作タスクを、基盤モデルと多様なセンシングを組み合わせた複数の単純な行動（意味的・予測的・反応的）に分解し、それらをSE(3)インターフェース上で合成することで、高精度と汎用性を両立するフレームワークを提案した。
- Fishbone: 1つの3Dアセットから100万通りの制御可能な編集へ3Dアセット生成2026/5/24
3Dメッシュの形状変形を制御するための統一的なリブ・スパイン表現を提案し、リアルタイムで予測可能な変形やアニメーションを可能にする。
- ESI-Bench：知覚と行動のループを閉じる身体化空間知能のベンチマーク身体化空間知能2026/5/1
受動的な観察ではなく、能動的な探索を通じて空間理解を行う身体化空間知能のベンチマークを提案し、能動的探索が受動的観察より優れていることを示した。
- ロボット学習のためのワールドモデル：包括的サーベイサーベイ2026/5/1
ロボット学習におけるワールドモデルの役割と進化を体系的にレビューし、ポリシー学習、シミュレーション、評価への応用や課題を整理したサーベイ論文。
- ステレオポリシー：ステレオ知覚によるロボット操作ポリシーの改善マニピュレーション2026/5/1
ステレオ画像ペアを直接利用して3次元幾何推論を強化する視覚運動ポリシー学習フレームワークを提案し、シミュレーションと実ロボットの操作タスクで性能を向上させた。
- 視点計画：VLMによる3D空間の能動的推論と計画VLA2026/5/1
VLMがカメラ移動による視点変化を予測し、複数ステップの計画で目標視点を特定できるかを検証し、その能力を高める反復的自己探索と視点グラフ蒸留の枠組みを提案した。
- 大規模言語モデルを用いた具現化プランニングには系統的な安全リスクが存在する安全性評価2026/4/1
大規模言語モデルをロボットのプランナーとして使う際の安全性を評価するベンチマークDESPITEを導入し、計画能力が高くても危険な計画を生成するリスクが高いことを示した。
- CaP-X: ロボットマニピュレーションのためのコーディングエージェントのベンチマークと改善フレームワークマニピュレーション2026/3/1
コードを方策として使うエージェントを体系的に評価する環境CaP-GymとベンチマークCaP-Benchを構築し、テスト時計算の拡張で人間レベルの信頼性を達成する手法を提案した。
- IMPASTO: モデルベース計画と学習された力学モデルを統合したロボット油絵再現ロボットアート/計画2026/3/1
ロボットが油絵の画像列から筆の軌道や力、色を推論して再現するシステムを提案。学習したピクセル力学モデルとモデル予測制御を統合し、自己対戦のみで学習する。
- 試行錯誤からの学習：身体性LLMのための内省的テスト時計画VLA2026/2/1
実行前の内省で行動候補を生成・評価し、実行後の内省でモデルと方針を更新する内省的テスト時計画を提案し、長期的な家庭内タスクやロボット実験で性能向上を実証した。
- 動的物体の世界を振り付ける：CHORD4D生成2026/1/1
2D動画の生成モデルからラグランジュ運動情報を蒸留し、カテゴリに依存せず多様な4D動的シーンを生成する手法を提案。ロボットマニピュレーション方策の生成にも応用可能。
- Dream2Flow: 3Dオブジェクトフローで動画生成とオープンワールド操作をつなぐマニピュレーション2025/12/1
生成動画から3Dオブジェクトの動きを再構成し、それを中間表現として軌道追跡問題に変換することで、実演なしに多様な物体を操作できるフレームワークを提案。
- TWIST2: スケーラブルでポータブルな全身ヒューマノイドデータ収集システムヒューマノイド2025/11/1
VRと低コストのロボット首を用いてモーションキャプチャ不要でヒューマノイドの全身遠隔操作とデータ収集を実現し、15分で100件のデモをほぼ100%の成功率で収集できるシステムを開発した。
- 閉ループ自律走行のためのモデルベース方策適応自動運転2025/11/1
拡散モデルとQ値モデルを組み合わせ、事前学習済みのEnd-to-End自律走行エージェントを閉ループ環境で適応させるフレームワークを提案。
- ENACT: 自己中心的なインタラクションの世界モデリングによる身体性認知の評価身体性認知/ベンチマーク2025/11/1
ロボティクスシミュレーションから生成した自己中心視点の行動と観測の系列並べ替えタスクにより、視覚言語モデルが身体性認知の能力（アフォーダンス認識、行動効果推論など）をどの程度持つかを評価するベンチマークを提案。
- 視覚-言語-行動モデルの未来を導く10の未解決課題VLA2025/11/1
VLAモデルの発展における10の主要マイルストーンと新たな研究動向を議論し、今後の研究方向に注目を促す論文。
- Phys2Real: VLMの事前知識と対話型オンライン適応を融合した不確実性を考慮したSim-to-Realマニピュレーションsim2real2025/10/1
VLMが推定した物理パラメータの事前分布と、実機での対話データから得られるオンライン推定を不確実性を考慮して統合し、シミュレーションで学習したマニピュレーションポリシーを実世界に転移させる手法を提案。
- MoMaGen: ソフト・ハード制約下で多段階両腕移動マニピュレーションのデモを生成sim2real2025/10/1
移動ベースと両腕の多段階タスク向けに、到達可能性などのハード制約と視認性などのソフト制約を満たすデータ生成を制約付き最適化として定式化し、多様なデモを自動生成する手法を提案。
- リターゲティングが重要：ヒューマノイド動作追従のための汎用モーションリターゲティング動作追従2025/10/1
人間の動作データをヒューマノイドにリターゲティングする際の品質が強化学習ポリシーの性能に与える影響を系統的に評価し、既存手法の問題を解決する新手法GMRを提案した。
- VisualMimic: 視覚によるヒューマノイドの移動操作を運動追跡と生成で実現sim2real2025/9/1
一人称視覚と階層的な全身制御を組み合わせ、シミュレーションで訓練した視覚運動方策を実機ヒューマノイドにゼロショット転移し、箱の持ち上げやサッカーのドリブルなど多様な移動操作を屋外でも実現した。
- DexSkin：接触の多いマニピュレーション学習のための高被覆型柔軟ロボットスキン触覚2025/9/1
柔軟で形状適合性の高い静電容量式電子皮膚を開発し、グリッパ指全体を覆う触覚センシングを実現して、物体の持ち替えや輪ゴム巻き付けなどの接触の多いマニピュレーションを模倣学習と強化学習で習得できることを示した。
- UAD: ロボットマニピュレーションの汎化のための教師なしアフォーダンス蒸留マニピュレーション2025/6/1
大規模視覚モデルと視覚言語モデルを組み合わせて、手動アノテーションなしでタスク条件付きアフォーダンスモデルを学習し、ロボット操作の汎化性能を向上させる手法を提案。
- 神経記号的コンセプトVLA2025/5/1
感覚入力と行動出力に基づく神経記号的コンセプトの語彙を用いて、継続学習と柔軟な推論が可能なエージェントを構築する概念中心の枠組みを提案。
- 言語と実演から構成可能な行動を学習するフレームワークBLADEマニピュレーション2025/5/1
言語注釈付き実演とLLMを活用し、長期ロボットマニピュレーションのための構造化された高レベル行動表現を自動構築する手法を提案。新規状況への一般化性能をシミュレーションと実機で検証した。
- TWIST: 遠隔操作による全身模倣システム全身遠隔操作2025/5/1
人間のモーションキャプチャを人型ロボットに再ターゲティングし、強化学習と行動クローニングを組み合わせた単一のニューラルネットワーク制御器で、全身の協調動作を実現する遠隔操作システムを開発した。
- X-Capture: マルチセンサー学習のためのオープンソース携帯デバイス触覚2025/4/1
RGBD画像・触覚・打音を同時に収集できる1000ドル以下のオープンソース携帯デバイスを開発し、500物体のデータセットを構築してマルチモーダル表現学習の有効性を示した。
- デジタルツインカタログ：大規模フォトリアリスティック3Dオブジェクトデータセット3D再構成/データセット2025/4/1
2000体の高精細3Dオブジェクトと、DSLRカメラおよびARグラスで撮影した画像列を含む大規模データセットを構築し、3Dデジタルツイン再構成の評価ベンチマークを提供した。
- BEHAVIORロボットスイート：日常家事のための実世界全身マニピュレーションを効率化全身マニピュレーション2025/3/1
両腕・車輪・4自由度胴体を備えたロボットで、全身遠隔操作インターフェースと視覚運動ポリシー学習アルゴリズムを統合し、家庭内の全身マニピュレーションタスクを実現するフレームワークを提案。
- 述語階層による少数ショット状態分類の改善状態分類/少数ショット学習2025/2/1
述語間の階層構造を活用し、画像と述語のペアを双曲空間に埋め込むことで、ロボット環境における状態分類を少数の例から高精度に汎化させる手法PHIERを提案。
- IKEAマニュアルの実践：インターネット動画における組立指示の4Dグラウンディング4Dグラウンディング2024/11/1
家具の3Dモデル・組立説明書・インターネット動画を密に対応付けたデータセットを構築し、組立計画生成や動画内の部品位置推定など5つのタスクの評価基盤を提供した。
- ロバストな方策学習のためのデジタルいとこの自動生成sim2real2024/10/1
実世界のシーンを模した「デジタルいとこ」を自動生成し、シミュレーションから実世界へのゼロショット転移で高い成功率を達成する手法を提案。
- 3D拡散ポリシーによる汎化可能なヒューマノイドマニピュレーションマニピュレーション2024/10/1
上半身テレオペで収集した単一場面のデータと機載計算のみで、25自由度ヒューマノイドが多様な実環境で自律マニピュレーションを実現するシステムを構築した。
- 身体性エージェントインターフェース：身体的意思決定のためのLLMベンチマークVLA2024/10/1
LLMを用いた身体的意思決定を統一的に評価するための汎用インターフェースを提案し、多様なタスク・モジュール・細粒度エラー指標でLLMの能力を体系的に分析するベンチマークを構築した。
- Lipschitz制約付きポリシーによる滑らかなヒューマノイド歩行の学習歩行2024/10/1
方策にLipschitz制約を勾配ペナルティとして課すことで、低域通過フィルタや平滑化報酬を使わずに滑らかで頑健なヒューマノイド歩行制御を学習する手法を提案し、実機で検証した。
- ゼロショット新規視点合成による視点不変な方策学習マニピュレーション2024/9/1
単一画像から新規視点を合成するモデルをデータ拡張に用い、単一視点の実演データから視点に頑健な操作方策を学習する手法を提案し、実機・シミュレーションで有効性を示した。
- FactorSim: 因子分解表現による生成的シミュレーションsim2real2024/9/1
自然言語入力からエージェント訓練用の完全なシミュレーションコードを生成する手法を提案し、因子分解POMDP表現で文脈依存を低減、ゼロショット転移性能で既存手法を上回ることを示した。
- D5RL: データ駆動型深層強化学習のための多様なデータセットオフライン強化学習2024/8/1
実世界のロボット操作・移動環境を模したシミュレーションで、スクリプト・人間操作・その他多様なデータ源を含むオフライン強化学習の新ベンチマークを提案。
- RoboPack: 触覚情報を活用した動力学モデルによる高密度パッキング触覚2024/7/1
視覚と触覚を組み合わせたリカレントグラフニューラルネットワークで物体状態を推定し、モデル予測制御により非把持操作や高密度パッキングを実現する手法を提案。
- 言語から計画抽象を学習するVLA2024/5/1
言語注釈付きデモンストレーションを用いて、記号的な抽象行動空間と潜在状態抽象を自動獲得し、長期的な計画を可能にするフレームワークPARLを提案。
- 実世界ロボットマニピュレーションポリシーのシミュレーション評価sim2real2024/5/1
実環境とシミュレーションの制御・視覚ギャップを緩和し、実機セットアップに対応した評価環境SIMPLERを構築。実機とシミュレーションの性能が強く相関することを示した。
- TRANSIC: オンライン修正から学ぶSim-to-Realポリシー転移sim2real2024/5/1
人間が実世界でロボットの動作を観察・介入して修正を加え、その修正から残差ポリシーを学習することで、シミュレーションと実世界のギャップを埋めて家具組立などの接触の多いタスクを実現する手法。
- 部品ベースの組み合わせ可能なマニピュレーションマニピュレーション2024/5/1
物体を部品に分解し、部品間の機能的対応関係を拡散モデルで学習することで、新しい物体やカテゴリにも汎化するロボット操作手法を提案した。
- BEHAVIOR-1K：1000の日常活動とリアルなシミュレーションによる人間中心の身体性AIベンチマークsim2real2024/3/1
人間がロボットにやってほしいと望む1000の日常活動を、50のシーンと9000以上の物体を含む物理シミュレーション環境OMNIGIBSONで再現し、実世界への転移も検証したベンチマークを提案した。
- DROID: 大規模実環境ロボットマニピュレーションデータセットマニピュレーション2024/3/1
北米・アジア・欧州の50名が12ヶ月かけて564シーン・84タスクで収集した76k軌道・350時間のロボット操作データセットを構築し、学習ポリシーの性能と汎化性能が向上することを示した。
- スパースニューラルダイナミクスを用いたモデルベース制御モデルベース制御2023/12/1
ニューラルネットワークによる動力学モデルをスパース化し、混合整数計画法で効率的に予測制御するフレームワークを提案。物体押しや変形物体操作などで既存手法を上回る性能を示した。
- ロボティクスにおける基盤モデル：応用・課題・未来基盤モデル2023/12/1
ロボット知能に基盤モデルを活用する研究を調査し、知覚・意思決定・制御への応用と、データ不足や安全性などの課題を整理したサーベイ。
- Holodeck: 言語ガイドによる3D身体性AI環境の生成sim2real2023/12/1
GPT-4と大規模3Dアセットを用いて、テキストプロンプトから多様な3Dシミュレーション環境を自動生成するシステムを提案。
- NOIR: 脳信号で操作する日常活動支援ロボットBCI/ロボットインターフェース2023/11/1
脳波(EEG)で意図する物体と行動を伝え、ロボットが料理・掃除など20種類の日常家事を実行するブレイン・ロボットインターフェースを開発した。
- ロボットマニピュレーションのための道具の設計と使用の学習マニピュレーション2023/11/1
タスクに応じて道具を設計する方策と、その道具を使って操作する方策を強化学習で同時に学習するフレームワークを提案し、実機ロボットに適用した。
- Mini-BEHAVIOR: 身体性AIにおける長期的意思決定のための手続き的生成ベンチマーク身体性AIベンチマーク2023/10/1
家庭内タスクを模した高速なGridworld環境で、手続き的生成により多様なタスクを生成し、身体性AIの長期的な意思決定や計画を評価するベンチマークを提案した。
- Open X-Embodiment: ロボット学習データセットとRT-XモデルVLA2023/10/1
21機関・22種のロボットからなる大規模データセットを構築し、異なるロボットやタスクに適応できる汎用ロボット方策RT-Xを学習した研究。
- PyPose v0.6: ロボティクス向け命令型プログラミングインターフェースロボット学習ライブラリ2023/9/1
ロボット学習のためのオープンソースライブラリPyPoseの設計原則を解説し、Dubinsカーと実機四足歩行ロボットの例でその使いやすさを示した。
- D³Fields: ゼロショットで汎化可能な再配置のための動的3D記述子フィールドマニピュレーション2023/9/1
3D点を入力に意味特徴とインスタンスマスクを出力し、動的な環境変化も捉える暗黙的3D表現を提案し、ゼロショットでの物体再配置タスクで有効性を示した。
- 物理的常識を備えた視覚言語モデルによるロボットマニピュレーションマニピュレーション2023/9/1
家庭用品の物理的概念（材質や壊れやすさなど）を注釈付けした大規模データセットPhysObjectsを構築し、視覚言語モデルを微調整することで、ロボットが物体の物理的性質を理解して操作計画を改善できるようにした。
- 拡散モデルによる合成的連続制約ソルバタスク・モーション計画2023/9/1
個々の制約タイプごとに学習した拡散モデルのエネルギーを因子グラフ上で合成し、連続制約充足問題の大域解を生成する手法を提案。新規な制約の組み合わせへの汎化や、離散・連続パラメータを含む長期タスク計画への統合を示した。
- ロボットによる食事支援のための逐次獲得方策の学習食事支援ロボティクス2023/9/1
食事支援ロボットが長期的な食事獲得を計画するため、シミュレーションで学習した潜在的な皿のダイナミクスを活用し、視覚的にパラメータ化されたプリミティブに実行を委任するVAPORSを提案。
- ロボットに手を：ハンドアイ型人間動画デモンストレーションによる汎化可能なマニピュレーション学習マニピュレーション2023/7/1
ハンドアイカメラを搭載したロボットの模倣学習において、ラベルなしの人間動画を活用し、明示的なドメイン適応なしに汎化性能を向上させる手法を提案した。
- VoxPoser: 言語モデルによるロボット操作のための構成可能な3Dバリューマップマニピュレーション2023/7/1
大規模言語モデルと視覚言語モデルを組み合わせ、自由形式の指示から3Dバリューマップを生成してロボットの6自由度軌道をゼロショットで合成する手法を提案。
- 人間の評価フィードバックを用いたプリミティブスキルベースのロボット学習マニピュレーション2023/7/1
人間の評価フィードバックとプリミティブスキルベース強化学習を組み合わせ、長期的なロボットマニピュレーションタスクを安全かつ効率的に学習するフレームワークSEEDを提案した。
- ObjectFolderベンチマーク：神経オブジェクトと実物体によるマルチセンサリー学習マルチモーダル知覚2023/6/1
視覚・音・触覚を統合した物体中心学習の10タスクベンチマークと、実世界の家庭用品100個のマルチセンサリーデータセットを公開し、各感覚の役割を体系的に評価した。
- 物体の山を操作するための動的解像度モデル学習マニピュレーション2023/6/1
環境を粒子表現で表し、グラフニューラルネットワークで解像度を連続的に選択できる統一的なダイナミクスモデルを学習。テスト時にはMPCの各ステップで最適な解像度を適応的に決定し、粒状物体の山の操作タスクで固定解像度の手法を上回る性能を実現した。
- Sonicverse：見て聞く家庭内エージェントのためのマルチセンサリ・シミュレーションプラットフォームマルチモーダル/音声視覚ナビゲーション/sim2real2023/6/1
音と視覚を統合したリアルタイム3D音響シミュレータSonicverseを開発し、音声視覚ナビゲーションのマルチタスク学習モデルを提案。シミュレータで訓練したエージェントが実世界環境で音声視覚ナビゲーションを成功させるsim-to-real転移も実証した。
- 物体中心ニューラル散乱関数によるマルチオブジェクト操作マニピュレーション2023/6/1
物体ごとの光の散乱を表すニューラル表現OSFをモデル予測制御に組み込み、複数物体の操作を照明条件が厳しく未知の環境でも高精度に実現した。
- RoboCook: 多様な道具を用いた長期的な弾塑性物体操作マニピュレーション2023/6/1
点群表現とGNNで道具と物体の相互作用をモデル化し、道具ごとに20分の実データから長期の柔軟物体操作（餃子やクッキー作り）を学習するロボットシステム。
- 制御中心の動画予測ベンチマーク動画予測2023/4/1
ロボット操作の計画における動画予測モデルの性能を評価するため、11タスクカテゴリ・310インスタンスを含む制御ベンチマークVP²を提案し、既存の知覚指標が下流タスクの成功を正確に予測できないことを示した。
- プログラム構造を活用した構成的汎化が可能なロボットマニピュレーションマニピュレーション2023/4/1
言語指示を実行可能なプログラムに解析し、視覚・行動モジュールを組み合わせることで、未見の物体やタスクへの汎化性能を高めたマニピュレーション手法を提案。
- 単一画像からの物理的に妥当な上半身アニメーション生成キャラクターアニメーション2022/12/1
1枚の人物画像から、ユーザーの操作に応じて物理的に自然な上半身の動きを生成し、フォトリアルな動画を作る手法。
- 見て、聞いて、感じる：ロボットマニピュレーションのためのスマートセンサリーフュージョンマニピュレーション2022/12/1
視覚・聴覚・触覚を自己注意モデルで融合し、密詰めや注ぎといった複雑なマニピュレーションタスクを高精度に実現するロボットシステムを構築した。
- 動力学拡張ニューラルオブジェクトの微分可能物理シミュレーションsim2real2022/10/1
NeRFなどの密度場で表現された物体の質量・慣性・摩擦を推定し、微分可能接触モデルでシミュレーションする手法を提案。実動画から石鹸の摩擦係数を学習し、ロボットアームによる操作軌道の最適化を実現した。
- STAP: タスク非依存スキルのシーケンシングマニピュレーション2022/10/1
学習済みの汎用マニピュレーションスキルを、Q関数を用いて幾何学的依存関係を考慮しながら計画時に組み合わせ、未見の長期的タスクを実現するフレームワークを提案。
- PyPose: 物理ベース最適化を統合したロボット学習ライブラリロボット学習ライブラリ2022/9/1
深層学習と物理ベース最適化を組み合わせたPyTorchベースのロボット学習ライブラリPyPoseを提案し、SLAMや計画、制御などへの応用例を示した。
- MaskViT: マスク視覚モデリングによる動画予測の事前学習動画予測2022/6/1
マスク視覚モデリングでTransformerを事前学習し、空間・時空間ウィンドウ注意と可変マスク率で高解像度動画予測を実現、実ロボット計画にも応用した。
- Habitat 2.0におけるBEHAVIOR：身体性AIエージェントのベンチマークのためのシミュレータ非依存な論理タスク記述身体性AIベンチマーク2022/6/1
家庭内タスクを論理空間で記述するBEHAVIORの一部を高速シミュレータHabitat 2.0に移植し、異なるシミュレータ間でタスク定義を再利用できることを示した。
- RoboCraft: グラフネットワークで弾塑性物体を見て・シミュレートし・形作る学習変形物体マニピュレーション2022/5/1
RGBD画像から粒子表現を構築し、グラフニューラルネットで弾塑性物体のダイナミクスを学習、モデル予測制御で未知の目標形状へ変形させるロボットシステムを提案。
- ObjectFolder 2.0：Sim2Real転送のためのマルチセンサリ物体データセットsim2real2022/4/1
視覚・音響・触覚のマルチセンサリデータを持つ大規模物体データセットを構築し、仮想物体で学習したモデルが実世界の物体スケール推定・接触位置推定・形状復元に転送できることを示した。
- 視覚ベースのマニピュレータは手元も見るべきであるマニピュレーション2022/3/1
手元視点（アイ・イン・ハンド）と第三者視点の視覚情報が操作学習と汎化に与える影響を体系的に分析し、手元視点の有効性と第三者視点の情報ボトルネック正則化による汎化改善を示した。
- ObjectFolder: 視覚・聴覚・触覚の暗黙表現を備えた物体データセットマルチモーダル知覚2021/9/1
100個の仮想物体について視覚・聴覚・触覚の感覚データを物体中心の暗黙表現で収録したデータセットを構築し、マルチモーダル認識やロボット把持などのベンチマークで有用性を示した。
- BEHAVIOR：仮想環境における日常家事タスクのベンチマークベンチマーク2021/8/1
掃除や料理など100種類の家事タスクをシミュレーション上で再現し、多様な初期・目標条件の生成、評価指標、VRによる人間の実演データを備えた embodied AI 向けベンチマークを提案した。
- DASH: 視覚と言語を備えたモジュール式ヒューマンマニピュレーションシミュレーションマニピュレーション2021/8/1
自然言語指示に従い、視覚・固有感覚・触覚のみで把持・積み上げ作業を行う仮想人間DASHを構築し、視覚・言語・操作モジュールに分割して解析と機械学習を組み合わせることで多様で流動的な動作を実現した。
- iGibson 2.0: 家庭内タスク学習のための物体中心シミュレーション環境sim2real2021/8/1
温度・濡れ・汚れ・切断などの物体状態と述語論理を導入し、多様な家庭内タスクを自動生成できるオープンソースのロボット学習用シミュレータを提案した。VRによる人間デモ収集にも対応する。
- 動的シーンの4D表現を学習するニューラル放射フロー4D再構成2020/12/1
RGB画像から動的シーンの3D占有・放射・動きを暗黙的に学習し、多視点レンダリングや動画の超解像・ノイズ除去を可能にする手法を提案。
- ロボット操作のための3D動的シーン表現の学習3Dシーン表現2020/11/1
物体の永続性・非可視形状の完全性・時空間連続性を捉える3Dボリューム表現DSRと、複数回の観測を統合してこれを構築・更新するDSR-Netを提案し、モデル予測制御と組み合わせて押し操作などの計画精度を向上させた。
- 見て、聞いて、行動する：音視覚に基づく身体性ナビゲーション音視覚ナビゲーション2019/12/1
屋内環境でエゴセントリックな視覚・音声入力のみから音源までの最短経路を計画する音視覚ナビゲーション手法を提案し、視覚地図構築・音源定位・動的経路計画を組み合わせて新規データセットで有効性を示した。
- 接触推論による高精度な視覚ベースマニピュレーションマニピュレーション2019/11/1
接触位置の最適化と運動計画を分離し、ニューラルネットと物理的状態表現を組み合わせることで、視覚ベースの平面押し操作の精度と効率を向上させた研究。
- 物体数可変環境のための合成Koopmanオペレータ学習モデルベース制御2019/10/1
グラフニューラルネットで物体中心の埋め込みを構成し、ブロック単位の線形遷移行列でKoopmanオペレータを学習することで、物体数が変化する環境でもモデルベース制御を可能にした。
- DualSMC: 連続POMDPにおける微分可能なフィルタリングと計画のトンネリングPOMDP/計画2019/9/1
連続POMDPのフィルタリングと計画を2つの関連する逐次モンテカルロ過程として定式化し、敵対的粒子フィルタと不確実性依存の計画を組み合わせたDualSMCネットワークを提案した。
- DensePhysNet：多段動的相互作用による密な物理物体表現の学習物体表現学習2019/6/1
物体を滑らせたり衝突させたりする動的相互作用を能動的に行い、その視覚観測から摩擦や質量などの物理特性を反映したピクセル単位の密な表現を学習する手法を提案した。
- 物理シミュレータと物体ベースネットワークを組み合わせた制御sim2real2019/4/1
物理エンジンと物体ベースのニューラルネットワークを組み合わせたハイブリッド力学モデルSAINを提案し、接触を伴う複雑な制御タスクで精度とデータ効率、汎化性能が向上することを示した。
- 物体指向の予測と計画による物理的相互作用の推論物体中心表現学習2018/12/1
物体中心表現を教師なしで学習し、知覚・物理予測・描画を統合したモデルO2P2を提案。学習済み表現を用いて訓練時より複雑なブロックタワーの構築が可能なことを示した。
- ChainQueen：ソフトロボティクス向けリアルタイム微分可能物理シミュレータsim2real2018/10/1
MLS-MPMに基づく変形物体向けのリアルタイム微分可能シミュレータを提案し、順方向シミュレーションと勾配計算の高精度を実証、約3000変数のソフトロボット制御タスクに適用した。
- 粒子ダイナミクス学習による剛体・変形物体・流体の操作粒子ベースシミュレーション2018/10/1
粒子ベースのシミュレータを学習により構築し、剛体・軟体・流体など多様な物質の複雑なロボット操作を実現した研究。
- 部分観測下のモデルベース制御のための伝播ネットワークモデルベース制御2018/9/1
部分観測環境でも使える学習可能な力学モデルPropNetを提案し、ペアワイズを超えた信号伝播を可能にして、順方向シミュレーションと制御タスクで既存手法を上回る性能を示した論文。
- 単眼視・触覚・形状事前知識を統合した3D形状知覚触覚2018/8/1
単眼カラー画像から学習済み形状事前知識を用いて3D形状を予測し、不確実性の高い領域を触覚で能動的に補正することで、約10回の触探索で高精度な物体形状を復元する手法を提案した。
- 確率的ニューラルネットワークによる物理シミュレータの拡張：平面押し出しとバウンドのケーススタディsim2real2018/8/1
解析的な剛体シミュレータに不確実性を残差として学習するニューラルネットを組み合わせ、平面押し出しとボールバウンドの高精度かつ汎用的な物理シミュレータを構築した研究。
