Dieter Fox
University of Washington
収録論文 211本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RoboColosseum：実世界規模で物理知能を評価する分散評価フレームワークベンチマーク評価2026/11/2
多様な環境の実機ロボット群をネットワーク化し、VLAポリシーやAIエージェントを統一プロトコルで比較評価する分散ベンチマークを提案した。
- 記述と評価の分離でVLMをゼロショット報酬モデル化するD&AVLM報酬モデル2026/11/2
VLMによるロボット動画の進捗推定を『客観的な記述』と『ルーブリック評価』に分離し、確認バイアスを抑えて失敗を正しく罰するゼロショット報酬モデルを実現した。
- 世界モデルによる汎化可能なロボット挿入マニピュレーション2026/9/23
手首カメラの視覚と固有感覚を統合した単一の世界モデルを最大90の挿入タスクで訓練し、未知形状の物体へのゼロショット挿入を実現した研究。
- Flex-π: 計算柔軟性を備えたマルチストリーム世界行動モデルVLA2026/8/1
既存の世界行動モデルはRGBのみを予測するが、Flex-πは凍結したビデオ生成VAEが3D点群も符号化できることを発見し、3D幾何学とオブジェクト中心のセマンティクスを追加で学習。ストリームごとのドロップアウトにより、単一のチェックポイントで高速な行動のみから完全な共同生成まで柔軟に動作し、実世界の両腕操作タスクで高い性能を達成。
- SeeTraceAct: クロス身体性デモ動画からの可視性を考慮した潜在プランニングVLA2026/6/1
デモ動画1本で未知タスクを実行するVLAモデルを提案し、小さな対象領域の正確な位置決めを可能にする可視性を考慮した未来のエンドエフェクタ軌跡予測を導入。新ベンチマークと実機で性能を実証した。
- トルク適応モジュール：操作における堅牢な動作転送のためのTAM操作2026/6/1
ロボット間の動力学差やシミュレーションと実機のギャップによる動作ずれを補正するため、トルク指令を適応させる学習モジュールTAMを提案。プロプリオセプティブな履歴のみを用いて残差トルクを生成し、異なる行動空間のポリシーにも再利用可能。
- MolmoAct2: 実世界展開のための行動推論モデルVLA2026/5/1
実世界展開に適した完全オープンな行動推論モデルMolmoAct2を提案し、空間推論に特化したVLMバックボーン、新しいデータセット、オープンな行動トーカナイザ、適応的推論機構などを導入して性能と効率を向上させた。
- RoboPlayground: 構造化物理ドメインによるロボット評価の民主化評価フレームワーク2026/4/1
ロボット操作ポリシーの評価を、固定ベンチマークではなく自然言語でタスクを定義できる構造化物理ドメイン上で行うフレームワークを提案し、ユーザビリティと一般化評価の有効性を示した。
- MolmoB0T: 大規模シミュレーションによるゼロショット操作の実現操作2026/3/1
大規模で多様なシミュレーションデータのみを用いて、実世界へのゼロショット転移が可能であることを示し、静的・移動操作の両方で有効なポリシーを訓練した。
- Robometer：軌道比較による汎用ロボット報酬モデルのスケーリング報酬モデリング2026/3/1
軌道内の進捗監督と軌道間の選好監督を組み合わせた報酬モデルを提案し、100万軌道のデータセットで学習することで、汎用性の高い報酬関数を実現した。
- MolmoSpaces：ロボットナビゲーションとマニピュレーションのための大規模オープンエコシステムsim2real2026/2/1
23万以上の多様な屋内環境と13万の物体アセットを備え、MuJoCoやIsaacなど複数シミュレータで使えるオープンなロボットベンチマーク基盤を構築し、実機との高い相関を示した。
- 再帰的深さを持つVLA：潜在的反復推論による視覚言語行動モデルのテスト時計算スケーリングVLA2026/2/1
重み共有の再帰的な行動ヘッドを用いて、推論時に潜在空間での反復的な洗練を行うことで、メモリ使用量を一定に保ちながら計算量を適応的に増やせるVLAアーキテクチャを提案した。
- TOPReward: トークン確率を隠れたゼロショット報酬として用いるロボティクスVLA2026/2/1
事前学習済み動画言語モデルのトークン確率を利用し、タスク指示に対する進捗を密な報酬として推定する訓練不要の手法を提案。実世界の操作ベンチマークで従来の訓練不要手法を上回る性能を示した。
- Point Bridge: クロスドメイン方策学習のための3D表現sim2real2026/1/1
VLMで抽出した点群表現とTransformer方策を用い、合成データのみで実世界マニピュレーションのゼロショットsim-to-real転移を実現するフレームワーク。
- PointWorld: 実世界ロボット操作のための3D世界モデルのスケーリングマニピュレーション2026/1/1
RGB-D画像とロボットの行動コマンドから3D点群の動きを予測する大規模事前学習済み3D世界モデルを提案し、実機ロボットのモデル予測制御に応用した。
- ロボティクスにおけるリアルギャップ：課題・解決策・ベストプラクティスsim2real2025/10/1
シミュレーションと実環境の差異（リアルギャップ）の原因・解決手法・評価指標を体系的に整理したサーベイ。sim-to-real転移の現状と課題を概観する。
- VT-Refine: 視触覚フィードバックによる両手組立のシミュレーション微調整学習マニピュレーション2025/10/1
少数の実演と高忠実度の触覚シミュレーションを組み合わせ、強化学習で両手組立ポリシーを微調整することで、接触の多い精密作業の実世界性能を向上させた研究。
- Refinery: 接触の多いタスク向け能動的ファインチューニングと展開時最適化マニピュレーション2025/10/1
ベイズ最適化によるファインチューニングとGMMベースの初期化選択で、接触の多い組立タスクの成功率を91.51%まで向上させ、多部品の長期組立も可能にした。
- FailSafe: VLAモデルの失敗推論と回復VLA2025/10/1
VLAモデルが実行中に遭遇する失敗を検出し、回復動作を生成できるようにする失敗生成・回復システムFailSafeを提案し、LLaVA-OV-7Bを微調整してロボットアームの失敗検出・回復性能を向上させた。
- ManiFlow：一貫性フロー学習による汎用ロボットマニピュレーションポリシーマニピュレーション2025/9/1
視覚・言語・固有感覚入力を条件に、一貫性フロー学習で1〜2ステップの高精度なロボット動作生成を実現する汎用模倣学習ポリシーを提案。
- PEEK: ロボットマニピュレーションポリシーのゼロショット汎化のための誘導と最小画像表現マニピュレーション2025/9/1
VLMを使ってエンドエフェクタ経路とタスク関連マスクを予測し、ポリシーに必要な最小限の手がかりを与えることで、シミュレーションのみで訓練したポリシーの実世界ゼロショット汎化を大幅に向上させる手法を提案。
- ニューラルロボットダイナミクスsim2real2025/8/1
関節剛体ロボットの接触を考慮したダイナミクスを学習し、解析シミュレータの低レベルソルバを置き換える汎用ニューラルシミュレータNeRDを提案。
- Sim-to-Real転送のためのロボット政策評価：ベンチマークの視点sim2real2025/8/1
本論文は、汎用ロボットマニピュレーション政策のsim-to-real転送を目的としたベンチマーク設計の課題と要件を議論し、高視覚忠実度シミュレーションの活用、タスク複雑性とシナリオ摂動を段階的に増やす評価、実世界性能とシミュレーション性能の整合性の定量化を提案する。
- MolmoAct: 空間で推論できる行動推論モデルVLA2025/8/1
知覚・計画・制御を3段階で統合し、深度を考慮した知覚トークンから編集可能な軌道計画を生成して低レベル行動を予測するロボット基盤モデルを提案。シミュレーションと実世界で高い性能を示し、1万件超の軌道データセットも公開した。
- GraspGen: オブジェクト把持のための拡散モデルフレームワークマニピュレーション2025/7/1
拡散モデルを用いて6自由度の把持を生成し、識別器でフィルタリングするフレームワークを提案。5300万把持のデータセットを公開し、実機でも高い性能を示した。
- RoboEval：ロボットマニピュレーションのための構造化・スケーラブルな評価フレームワークマニピュレーション2025/7/1
ロボットマニピュレーションの評価を二値的成功から拡張し、効率・協調・安全性などの行動指標と段階的進捗・失敗局所化を含む構造化ベンチマークを提案。8つの両手タスクと3000以上の実演を提供。
- RobotSmith: 複雑な操作スキル獲得のための生成的ロボットツール設計マニピュレーション2025/6/1
視覚言語モデルと物理シミュレーションを組み合わせ、ロボットが操作しやすいツールを自動設計し、その使い方まで最適化する手法を提案。
- OG-VLA: 正投影画像生成による3D認識型視覚言語行動モデルVLA2025/6/1
多視点RGBD観測を正投影画像に変換し、LLMと拡散モデルでエンドエフェクタの次位置・姿勢を生成する3D認識型VLAを提案。未見環境への汎化性能を大幅に向上。
- DexMachina：両手巧みな操作のための機能的リターゲティングマニピュレーション2025/5/1
人間の両手による物体操作のデモンストレーションから、関節物体を長期的に操作する巧みなロボットハンドのポリシーを学習する手法を提案。仮想物体コントローラを徐々に弱めるカリキュラム学習により、人間とロボットの身体性ギャップを克服する。
- DreamGen：動画世界モデルでロボット学習の汎化を解き放つVLA2025/5/1
画像から動画を生成するモデルでロボットの疑似行動データを作り、1つのテレオペデータから多様な行動・環境への汎化を実現する4段階パイプラインを提案。
- 人間の単一動画からの視覚的模倣によるスロット単位のロボット配置模倣学習2025/4/1
人間の作業動画を1本見せるだけで、どの物体をどこに置くかを理解し、ロボットが同じ配置作業を再現できるモジュール式システムSLeRPを提案した。
- SRSA: ロボット組立タスクのためのスキル検索と適応マニピュレーション2025/3/1
既存のスキルライブラリから新タスクに最も適したスキルを検索し、微調整することで、接触の多い組立タスクをデータ効率的に学習するフレームワークを提案。
- Cosmos-Transfer1：適応的マルチモーダル制御による条件付きワールド生成sim2real2025/3/1
セグメンテーション・深度・エッジなど複数モダリティの空間制御入力を場所ごとに重み付けして世界シミュレーションを生成するモデルを提案し、ロボティクスのSim2Realや自動運転データ拡張への応用とリアルタイム推論を実証した。
- MatchMaker: ロボット組立のための組立アセット自動生成sim2real2025/3/1
干渉するアセットペアをシミュレーション可能なペアに変換し、単一アセットから嵌合する相手を生成し、接触面を侵食して現実的な部品を作るパイプラインを提案。生成データは多様性と組立スキル学習の有効性で従来手法を上回る。
- GR00T N1: 汎用人型ロボットのためのオープン基盤モデルVLA2025/3/1
視覚言語モジュールと拡散トランスフォーマを組み合わせた二重システム構成のVLA基盤モデルを提案し、実機・人間動画・合成データで学習して人型ロボットの両手マニピュレーションを実現した。
- HAMSTER: オープンワールドロボット操作のための階層型行動モデルVLA2025/2/1
高レベルVLMが粗い2D経路を予測し、低レベル3D制御ポリシーが精密操作を行う階層型VLAモデルを提案。非ドメインデータを活用し、実機でのオープンワールド汎化を実現する。
- SAM2Act：視覚基盤モデルと記憶アーキテクチャを統合したロボットマニピュレーションマニピュレーション2025/1/1
視覚基盤モデルを活用したマルチビューロボット方策SAM2Actを提案し、RLBenchで86.8%の成功率を達成。さらに記憶バンクを備えたSAM2Act+と記憶依存タスク評価用ベンチマークMemoryBenchを導入し、94.3%の成功率を実現した。
- 物理AIのためのCosmos世界基盤モデルプラットフォーム世界モデル2025/1/1
物理AI開発者向けに、カスタマイズ可能な世界モデルを構築するための基盤モデル・動画キュレーション・トークナイザを提供するオープンソースプラットフォーム。
- RoboMD: 意味的ポテンシャル場によるロボットの脆弱性発見マニピュレーション2024/12/1
視覚言語埋め込み空間をポテンシャル場として強化学習し、実機試行なしで操作ポリシーの脆弱性を予測・マッピングするフレームワークを提案。
- GRAPE: 選好アライメントによるロボット方策の汎化VLA2024/11/1
成功・失敗の試行から報酬を暗黙的に学習し、大規模視覚言語モデルが提案する時空間制約で選好を自動設計することで、VLAモデルの未見タスクへの汎化性能を高める手法。
- Aim My Robot: 任意の物体への高精度ローカルナビゲーションナビゲーション2024/11/1
ロボットが近傍の任意の物体に対してセンチメートル精度で所望の相対姿勢に到達できるローカルナビゲーションシステムAMRを開発し、シミュレーションで大規模学習してsim2real転移を実現した。
- 視覚言語モデルが生成する制約によるオープンワールドタスク・動作計画タスク・動作計画2024/11/1
視覚言語モデルに離散的な行動順序制約と連続的なコード制約を生成させ、タスク・動作計画(TAMP)に統合することで、自然言語で指定された長期的なロボット操作タスクをオープンワールドで解けるようにした。
- 人間との対話による推論時ポリシーステアリングVLA2024/11/1
事前学習済みの生成ポリシーを微調整せずに、人間の介入でサンプリング過程をバイアスし、意図に沿った行動を引き出す枠組みを提案。
- AHA: ロボットマニピュレーションの失敗を検出・推論する視覚言語モデルVLA2024/10/1
ロボット操作の失敗を自然言語で検出・説明するオープンソースVLM「AHA」を提案し、シミュレーションで生成した大規模失敗データセットで学習させ、実世界や未見タスクへの汎化性能を示した。
- 自分で説明書を作って組み立てることを学ぶマニピュレーション2024/10/1
LEGO組み立てタスクにおいて、エージェントが分解しながら画像を保存して自分用の説明書を作り、それを使って未知の組み立てを再現する手法を提案。
- 動画からの潜在行動事前学習VLA2024/10/1
ロボットの行動ラベルなしでインターネット規模の動画からVLAモデルを事前学習する手法を提案し、実世界のマニピュレーションタスクで既存手法を上回る性能を示した。
- DiffusionSeeder: 拡散モデルによる運動最適化のシード生成で高速動作計画動作計画2024/10/1
拡散モデルで深度画像から多様な軌道を生成し、GPU加速運動最適化の初期シードとして使うことで、混雑環境でのロボット動作計画を大幅に高速化・高成功率化する手法。
- 視覚言語モデルで長期的なタスク・動作計画を導くタスク・動作計画2024/10/1
VLMが生成する意味的に妥当な中間サブゴールでタスク・動作計画を階層的に導くVLM-TAMPを提案し、キッチンでの長期タスクで成功率を大幅に改善した。
- SkillMimicGen: スキル学習と展開を効率化する自動デモ生成模倣学習2024/10/1
少数の人間デモをスキルに分割・適応・連結して大量のデモを自動生成し、ハイブリッドスキルポリシーで長期的タスクの模倣学習と実機転移を実現する。
- SPIRE: 長期的操作のための計画・模倣・強化学習の相乗的統合マニピュレーション2024/10/1
タスク・動作計画でタスクを分解し、模倣学習と強化学習を組み合わせて長期的なロボット操作を効率的に学習する手法を提案。
- OptiGrasp: RGB画像のみを用いた倉庫ピッキングロボット向けの最適化された把持姿勢検出マニピュレーション2024/9/1
深度センサに頼らずRGB画像と基盤モデルだけで吸着把持の姿勢を予測し、合成データのみで学習しながら実機で82.3%の成功率を達成した。
- FORGE: 不確実性下での接触の多いマニピュレーションのための力誘導探索sim2real2024/8/1
力閾値とダイナミクスランダム化を組み合わせてシミュレーションで学習し、姿勢の不確実性がある実機でも力に基づいて接触の多い作業を安全に遂行できる方策を実現した。
- TacSL: 視触覚センサのシミュレーションと学習のためのライブラリ触覚2024/8/1
GPUベースで視触覚センサを高速シミュレーションし、触覚ベースの強化学習を可能にするライブラリTacSLと、sim-to-real転移のための新アルゴリズムAACDを提案した。
- AutoMate: 多様な形状に対応する専門家・汎用組み立てポリシーマニピュレーション2024/7/1
100種類の組み立てタスクのデータセットと並列シミュレーション環境を構築し、部品特化型と汎用型の組み立てポリシーを学習。シミュレーションから実機へのゼロショット転移を実現した。
- PerAct2: 両腕ロボットマニピュレーションのベンチマークと学習マニピュレーション2024/7/1
RLBenchを両腕タスクに拡張し、13タスク・23バリエーションのベンチマークを構築するとともに、言語条件付き行動クローニングエージェントPerAct2を提案した。
- 3D-MVP: ロボットマニピュレーションのための3Dマルチビュー事前学習マニピュレーション2024/6/1
マスク付きオートエンコーダを用いて大規模3Dデータセットで視覚エンコーダを事前学習し、ロボットマニピュレーションの汎化性能を向上させる手法を提案した。
- RVT-2: 少数のデモンストレーションから精密なマニピュレーションを学習マニピュレーション2024/6/1
言語指示に基づく多タスク3Dマニピュレーションにおいて、アーキテクチャとシステムの改善により学習を6倍、推論を2倍高速化し、RLBenchで成功率82%を達成、実世界でも10回のデモで高精度タスクを学習可能にした。
- RoboPoint: ロボティクス向け空間アフォーダンス予測の視覚言語モデルVLA2024/6/1
合成データで視覚言語モデルをロボット向けに微調整し、言語指示から画像内のキーポイントアフォーダンスを予測するRoboPointを開発。実世界データ不要でスケーラブルに学習でき、ナビゲーションや操作などのタスクで既存手法を上回る。
- Manipulate-Anything：視覚言語モデルによる実世界ロボット操作の自動化マニピュレーション2024/6/1
視覚言語モデルを活用し、特権的な状態情報や手設計スキルなしで実世界の任意の静的物体を操作する軌道を自動生成する手法を提案し、既存手法を上回る性能とロバストな模倣学習を実現した。
- URDFormer: 実世界画像から関節構造を持つシミュレーション環境を構築するパイプラインsim2real2024/5/1
実世界の画像から関節構造や物理特性を推定し、シミュレーションシーンを自動生成するURDFormerを提案。テキストから画像生成モデルを活用して学習データを生成し、大規模でリアルなシーン構築を可能にした。
- IntervenGen: ロバストでデータ効率の良いロボット模倣学習のための介入データ生成模倣学習2024/5/1
少数の人間による修正介入から、状態空間を広くカバーする大量の介入データを自動生成し、模倣学習ポリシーの分布シフトへのロバスト性を最大39倍向上させる手法を提案。
- AdaDemo: 汎用ロボットエージェントのためのデータ効率的なデモンストレーション拡張模倣学習2024/4/1
既存方策の弱点を特定し、適応的にデモンストレーションを収集・拡張することで、データ効率的に多タスク模倣学習を改善するフレームワークAdaDemoを提案。
- ASID: ロボットマニピュレーションにおけるシステム同定のための能動的探索マニピュレーション2024/4/1
少量の実世界データを用いてシミュレータを自律的に改良し、正確な制御戦略を計画する学習システムを提案。
- 未知の関節物体のデジタルツイン構築のためのニューラル陰的表現3D再構成2024/4/1
異なる関節状態の2つのRGBDスキャンから、未知の関節物体の形状と関節モデルを再構成し、デジタルツインを構築する手法を提案。
- EVE: 拡張現実で誰でもロボットを訓練可能に拡張現実/ロボット学習2024/4/1
物理ロボットなしで、iOSアプリのAR可視化を使って日常ユーザーがロボットのタスク実演を収集・訓練できるシステムを開発し、ユーザー研究で有効性を示した。
- GPU加速シミュレーションによるロボットタスク横断的な集団ベース強化学習のベンチマーク強化学習2024/4/1
GPU加速物理シミュレータ上で集団ベース強化学習(PBRL)をPPO/SAC/DDPGと比較し、ハイパーパラメータを動的調整することで累積報酬が向上することを示し、Franka Nut Pickタスクで実機展開も行った。
- コロッセウム：ロボットマニピュレーションの汎化性能を評価するベンチマークマニピュレーション2024/2/1
環境の色・テクスチャ・照明・カメラ位置など14種類の摂動に対するロボットマニピュレーションの汎化性能を評価するシミュレーションベンチマークを提案し、最先端モデルの成功率が30〜50%低下することを示した。
- clutter環境におけるテレオペレーションのための高速明示的入力支援テレオペレーション2024/2/1
ロボット遠隔操作において、エンドエフェクタで目標を明示的に指し示す新しい支援インターフェースを提案し、暗黙的な意図推定支援と比較して、操作者の好みや作業負荷の低減、ピック失敗の減少を示した。
- M2T2: 物体中心のピックアンドプレイスに向けたマルチタスクマスク付きトランスフォーマーマニピュレーション2023/11/1
生の点群から接触点と把持姿勢を予測し、多様な低レベル動作を任意物体に対して実行できる単一のトランスフォーマーモデルを提案。大規模合成データで学習し、実機へのゼロショットsim2real転移を達成した。
- STOW: 倉庫ピッキングロボットのための未見物体の離散フレームセグメンテーションと追跡セグメンテーション・追跡2023/11/1
倉庫や家庭での物体再配置において、離散的なフレームから未見物体をセグメンテーションし追跡する新しいパラダイムとTransformerモジュールを提案し、合成・実世界データセットで従来手法を大幅に上回る性能を示した。
- NEWTON: 大規模言語モデルは物理的推論ができるのか？物理推論ベンチマーク2023/10/1
物体と属性のペア2800組と16万問のQAからなる物理推論ベンチマークNEWTONを構築し、GPT-4などのLLMの物理推論能力を評価した。
- cuRobo: 並列化された衝突回避・最小ジャークロボット動作生成マニピュレーション2023/10/1
衝突回避動作生成を大域的最適化問題として定式化し、GPU上で並列に解くことで平均50msで解を得るライブラリcuRoboを開発した。
- MimicGen：人間のデモンストレーションからスケーラブルなロボット学習を実現するデータ生成システム模倣学習2023/10/1
少数の人間デモを新しい状況に適応させて大規模データセットを自動生成し、模倣学習によるロボットの長期的・高精度タスクの性能を向上させるシステムを提案。
- 人間参加型タスク・運動計画による模倣学習模倣学習2023/10/1
TAMPと人間の遠隔操作を組み合わせ、接触の多い長期的タスクの模倣学習データを効率的に収集するシステムを提案。
- 棚入れ・積み上げ・吊り下げ：マルチモーダルな再配置のための関係的姿勢拡散マニピュレーション2023/7/1
3D点群上で物体とシーンの関係的な配置姿勢を拡散モデルにより生成し、棚入れ・積み上げ・吊り下げなどの再配置タスクを実世界とシミュレーションで実現した研究。
- AnyTeleop：汎用視覚ベースの器用なロボットアーム・ハンド遠隔操作システム遠隔操作2023/7/1
様々なロボットアームやハンド、シミュレータ、実機、カメラ構成に対応する汎用的な視覚ベース遠隔操作システムを提案し、特定ハードウェア向けの従来システムを上回る性能を示した。
- 関節物体操作のための計画アンサンブル上のメタ方策学習マニピュレーション2023/7/1
幾何モデルベースの計画器で複数の経路方策を生成し、その上でタスク特化のメタ方策を学習することで、少ないデータで環境の不確実性に頑健なドア押し操作を実現した。
- RVT: 3D物体操作のためのロボットビュー変換器マニピュレーション2023/6/1
複数視点のカメラ画像をTransformerで統合し、仮想視点からの再描画により、スケーラブルかつ高精度な3D操作を実現する手法を提案。
- DiMSam: 部分観測下でのタスク・動作計画のための拡散モデルサンプラータスク・動作計画2023/6/1
拡散モデルをサンプラーとしてタスク・動作計画(TAMP)に組み込み、部分観測下でも多段階の制約推論を可能にする手法を提案し、シミュレーションと実機で検証した。
- AR2-D2: ロボットなしでロボットを訓練する模倣学習2023/6/1
スマホARアプリで人間の物体操作を記録し、実機ロボットの行動クローニング訓練データとして活用できることを示した研究。
- TAMPを視覚運動Transformerで模倣するOPTIMUS模倣学習2023/5/1
タスク・運動計画(TAMP)が自動生成した大規模デモデータを視覚運動Transformerで模倣し、多様な物体操作タスクを70〜80%の成功率で解くシステムOPTIMUSを提案。
- IndustReal: 接触の多い組立タスクをシミュレーションから現実へ転移sim2real2023/5/1
強化学習とシミュレーションを活用し、接触の多いピック・配置・挿入タスクを実世界のロボットで再現可能にした研究。
- CabiNet: 手続き的シーン生成による物体再配置のためのニューラル衝突検出のスケーリングマニピュレーション2023/4/1
65万以上の雑然としたシーンを手続き的に生成し、単視点深度から物体とシーンの点群を入力してSE(3)姿勢の衝突を予測するCabiNetを学習。MPPIプランナと組み合わせて再配置を実現し、シミュレーションのみの学習で実世界に転移できることを示した。
- DefGraspNets: グラフニューラルネットによる3D場での把持計画マニピュレーション2023/3/1
3D変形物体の把持計画のために、FEMシミュレーションの代わりに応力・変形場を予測するグラフニューラルネットワークを学習し、最大1500倍高速な勾配ベース把持最適化を実現した。
- 点群からの人からロボットへの受け渡し学習sim2real2023/3/1
人間からロボットへの物体受け渡しを点群入力から学習する初のフレームワークを提案し、シミュレーションと実機で性能向上を示した。
- BundleSDF: 未知物体のニューラル6自由度トラッキングと3D再構成6DoFトラッキング/3D再構成2023/3/1
単眼RGBD動画から未知の物体の6自由度姿勢を追跡しながら、ニューラル物体場を用いてその3D形状と外観を同時に再構成する手法を提案。
- TerrainNet: 高速オフロード走行のための複雑地形の視覚モデリングオフロード自律走行2023/3/1
カメラ映像から地形の意味・形状を予測し、高速オフロード自律走行のための走行可能領域推定とコストマップ生成を行う視覚知覚システムを提案。
- 制約付き6自由度把持の生成的サンプリングマニピュレーション2023/2/1
対象物体の特定部位に限定して6自由度把持を生成するネットワークVCGSを提案し、制約付き把持用データセットCONGを構築して、非制約手法より高い成功率とサンプル効率を示した。
- MegaPose: レンダリングと比較による新規物体の6D姿勢推定6D姿勢推定2022/12/1
CADモデルと画像中の関心領域のみを用いて、学習時に未見の物体の6D姿勢を推定する手法を提案。大規模合成データで学習し、実画像の新規物体に再学習なしで適用可能。
- 系列ベースの計画実現可能性予測による効率的なタスク・動作計画タスク・動作計画2022/11/1
TransformerベースのPIGINetでタスク計画の実現可能性を予測し、TAMPプランナの探索を効率化。キッチン整理問題で実行時間を最大80%削減し、未見物体へのゼロショット汎化も実現。
- 暗黙的形状拡張による頑健な実世界巧みな把持ポリシーの学習マニピュレーション2022/10/1
少数の人間の把持実演から、対応関係を考慮した暗黙的生成モデルで物体メッシュと把持を変形し、多様な新規物体の把持データセットを生成して、実世界で使える頑健な把持ポリシーを学習する手法を提案。
- 動作方策ネットワークマニピュレーション2022/10/1
単一の深度カメラ観測から衝突のない滑らかな動作を生成するエンドツーエンドのニューラルモデルを提案し、シミュレーションで訓練しながら実機に転移できることを示した。
- ワンショットニューラルフィールドによる3D物体理解把持2022/10/1
単一のRGB画像からNeRFベースの潜在表現を構築し、新規視点レンダリングや3D再構成、把持予測を可能にするロボット向け表現を提案。
- DeXtreme: シミュレーションから現実への俊敏なハンド内マニピュレーションの転移sim2real2022/10/1
強化学習で訓練した多指ハンドの巧みな操作方策と物体姿勢推定器を、シミュレーションから実機へ転移させ、視覚ベースの方策で既存手法を上回る再配向タスクを実現した。
- ProgPrompt: 大規模言語モデルを用いた状況依存ロボットタスクプランの生成タスクプランニング2022/9/1
環境内の利用可能な行動と物体をプログラム風に記述し、実行可能な例示プログラムと共にLLMへ入力することで、状況に応じたロボットのタスクプランを生成する手法を提案。
- Perceiver-Actor: ロボット操作のためのマルチタスクTransformerマニピュレーション2022/9/1
言語条件付き行動クローンエージェントPerActを提案し、RGB-Dボクセル観測とPerceiver Transformerを用いて6-DoF操作を効率的に学習、少数のデモで多タスクを実現した。
- 深層学習による把持合成のレビューマニピュレーション2022/7/1
過去10年のロボット把持研究を体系的に調査し、6自由度把持のための4つの主要手法と2つの支援手法を整理したレビュー論文。
- ニューラルモーションフィールド：把持軌道を暗黙的価値関数として符号化マニピュレーション2022/6/1
物体の点群と把持の相対軌道をニューラルネットの暗黙的価値関数として表現し、サンプリングベースMPCで動的物体の把持をリアクティブに実現する手法を提案。
- Factory: ロボット組立のための高速接触シミュレーション環境sim2real2022/5/1
接触の多い組立作業をリアルタイム以上でシミュレーションできる物理エンジンと学習ツール群を提案し、ナットとボルトの組立を強化学習で実証した。
- HandoverSim: 人からロボットへの物体受け渡しのためのシミュレーションフレームワークとベンチマークsim2real2022/5/1
人からロボットへの物体受け渡しをシミュレーションするベンチマークを提案し、動作キャプチャデータを活用して訓練・評価環境を構築、複数のベースラインの性能を分析した。
- 人間からロボットへの円滑な受け渡しのためのモデル予測制御物体受け渡し2022/4/1
人間から物体を受け取る際のロボットの滑らかな動作を、知覚と制約を統合したモデル予測制御で生成し、把持候補選択や接触検出も組み合わせて実機実験で有効性を示した論文。
- 自然言語フィードバックによるロボット計画の修正言語指示2022/4/1
自然言語の文をコスト関数の変換に対応付け、目標の修正や制約追加、計画誤りの回復を可能にする手法を提案した論文。
- 変形物体の把持結果を物理シミュレーションで評価するDefGraspSim変形物体把持2022/3/1
GPUベースのFEMシミュレーションで多様な3D変形物体の把持を評価し、データセットとパイプラインを公開、実物との対応も示した。
- DiSECt: 軟質材料切断のための微分可能シミュレータ微分可能シミュレーション2022/3/1
軟質材料のロボット切断を対象に、FEMとSDFベースの接触・損傷モデルを組み合わせた初の微分可能シミュレータを提案し、パラメータ推定や制御最適化に有効であることを示した。
- 反復フロー最小化によるロボット物体再配置マニピュレーション2022/2/1
RGBD画像から未知物体の再配置を行うため、RAFTベースのオプティカルフロー推定と反復最小化を組み合わせた手法を提案し、合成データのみの学習で実世界の乱雑な環境にも適用できることを示した。
- iCaps: カテゴリレベル物体の姿勢と形状の反復推定6D姿勢推定2022/1/1
深度画像からカテゴリ内の未知物体の6D姿勢を追跡し、符号付き距離関数に基づく潜在表現で3D形状を反復的に推定する手法を提案。
- 支援型テレオペレーション：Transformerを活用したロボットタスク実演の収集テレオペレーション2021/12/1
VR上でロボットの自律軌道予測を表示しつつ、任意のタイミングで人間が介入できるテレオペレーションシステムを提案し、Transformerによる未来予測で実演収集を高成功率かつ容易にした。
- ベイズ推論による変形物体操作のための実世界からシミュレーションへの変換sim2real2021/12/1
画像列から変形物体の状態を分布埋め込みとして表現し、ベイズ的シミュレーション推論で弾性や摩擦などの物理パラメータの事後分布を推定する手法を提案した。
- 人間のクエリからのブートストラップによる知覚概念の学習知覚概念学習2021/11/1
シミュレータの特権情報を使って最小限の人間入力から低次元の幾何学的概念を学び、それを自動ラベラーとして高次元センサデータの大規模データセットを合成することで、人間のラベル負担を抑えつつ実センサ入力で使える知覚概念を学習するフレームワークPCBを提案した。
- StructFormer：言語指示による新規物体の意味的再配置のための空間構造学習マニピュレーション2021/10/1
部分点群と言語コマンドを入力とするTransformerネットワークStructFormerを提案し、未知物体を円形や食卓配置などの意味的構造に実機ロボットで再配置できることを示した。
- 連続時間フィッティング価値反復によるロバスト方策の学習ロバスト制御2021/10/1
非線形制御アフィン系の性質を利用して最適方策と最適外乱を解析的に導出し、状態・行動の離散化なしに価値反復で最適価値関数を解くcFVIとrFVIを提案。振り子と台車系で最適方策を得て、実機sim2real実験でロバスト性を実証した。
- 機械学習からロボティクスへ：身体性知能の課題と機会身体性知能2021/10/1
機械学習をロボティクスや身体性知能にそのまま適用することの限界を論じ、実環境での運用・安全性・適応性・能動的な世界モデル構築の観点から課題と機会を整理した論文。
- 幾何学的ファブリック：古典力学を一般化し行動の物理を捉える制御理論2021/9/1
古典力学をフィンスラー幾何学へ拡張し、安定性を保ちながら挙動を設計できる新たな制御理論「幾何学的ファブリック」を提案し、RMPを上回る性能をロボット実験で示した。
- CLIPort: ロボット操作のための「何を」と「どこで」の二経路VLA2021/9/1
CLIPの意味理解とTransporterの空間精度を組み合わせた二ストリーム模倣学習エージェントを提案し、言語指示による卓上操作を物体姿勢などの明示的表現なしで実現した。
- SORNet：逐次操作のための空間的物体中心表現物体中心表現2021/9/1
RGB画像から物体クエリに基づく物体中心表現を学習し、未見の物体にもゼロショットで汎化して空間関係推論や実機の逐次操作計画に応用した研究。
- 未知物体の意味的配置に向けた安定姿勢予測マニピュレーション2021/8/1
RGB-D情報のみから未知物体を意味的関係に沿って配置するため、物理的に安定な姿勢を予測し動作計画と統合する手法を提案。シミュレーションのみで学習し実世界でも動作する。
- 変形物体の把持をGPU有限要素法でシミュレーションするDefGraspSim変形物体把持シミュレーション2021/7/1
GPUベースの有限要素法で多様な3D変形物体の把持を効率的にシミュレーションし、データセットと評価パイプラインを公開した論文。
- 潜在プランを用いた階層的政策による混雑環境での把持マニピュレーション2021/7/1
部分点群観測から衝突のない目標駆動型6D把持を階層的に学習し、潜在空間で多様な把持軌道を生成・選択して実環境の混雑シーンにも汎化できることを示した論文。
- 長期言語指示実行のための持続的空間意味表現言語指示・タスク計画2021/7/1
ロボットが高レベルな自然言語指示を長期的に実行できるよう、環境の空間的・意味的情報を持続的に保持する表現手法を提案し、ALFREDベンチマークで最高性能を達成した。
- LanguageRefer: 3D視覚グラウンディングのための空間言語モデル3D視覚グラウンディング2021/7/1
点群で再構成された3Dシーンと指示文から対象物体を特定するTransformerベースの空間言語モデルを提案し、ReferIt3Dデータセットで競争力のある性能を示した。
- BayesSimIG: IsaacGymを用いた適応的ドメインランダム化のためのスケーラブルなパラメータ推論sim2real2021/7/1
シミュレーションパラメータの尤度不要推論に基づくドメインランダム化手法BayesSimをNVIDIA IsaacGymと統合し、GPUで大規模並列シミュレーションと推論を高速化するライブラリを提案した。
- グラフニューラルネットワークによる混雑環境でのインスタンスマスク精緻化セグメンテーション2021/6/1
混雑した環境での物体インスタンス分割を改善するため、マスクをグラフ表現し、GNNで物体間関係を考慮してセグメンテーションを修正する手法を提案した論文。
- 未知物体のためのニューラル物体再配置計画マニピュレーション2021/6/1
シミュレーションデータで学習し、未見の物体を実世界で効率的に多段階再配置する深層学習ベースの計画手法NeRPを提案した論文。
- DiSECt: 軟質材料切断のための微分可能シミュレータ微分可能シミュレーション2021/5/1
軟質材料のロボット切断を対象に、FEMとSDFベースの接触・損傷モデルを組み合わせた初の微分可能シミュレータを提案し、パラメータ校正やベイズ推定、切断力最小化の制御最適化に有効であることを示した。
- 連続状態・行動・時間における価値反復法制御/強化学習2021/5/1
既知のダイナミクスモデルを用い、連続状態・行動・時間で動的計画法を可能にするcFVIを提案。非線形制御実験で深層強化学習と同等の性能を示し、実機移行時の頑健性に優れることを示した。
- 連続制御タスクのためのロバスト価値反復法sim2real2021/5/1
動的計画法に基づき、システムダイナミクスの敵対的摂動を組み込んだロバストな最適方策を連続状態・行動空間で計算する手法を提案し、実機の振り子と台車棒で有効性を示した。
- 透明物体の深度補完のためのRGB-D局所陰関数深度補完2021/4/1
単一のRGB-D画像から透明物体の欠損深度を補完するため、レイ・ボクセル対に基づく局所陰関数表現と自己修正型の反復精緻化を組み合わせた手法を提案し、合成・実世界データで従来法を大きく上回る精度と約20倍の高速推論を実現した。
- STORM: 反応的なマニピュレーションのための高速関節空間モデル予測制御の統合フレームワークマニピュレーション2021/4/1
GPUで並列化したサンプリングベースMPCを関節空間で直接実行し、関節限界や特異点・衝突などの制約を扱いながら8ms以下で制御指令を計算するマニピュレーション向けフレームワークを提案。
- Contact-GraspNet：混雑環境での効率的な6自由度把持生成把持生成2021/3/1
深度画像から点群を直接入力とし、把持接触点を基準に4自由度に次元削減した表現で6自由度パラレルジョー把持を生成するエンドツーエンドネットワークを提案。実環境の混雑場面で90%超の成功率を達成。
- 物理シミュレーションと学習潜在投影による触覚センシングのsim-to-real触覚/sim2real2021/3/1
GPUシミュレータ上でBioTac触覚センサの高速FEMモデルを構築し、自己教師あり学習で実世界の電気出力を再現する潜在空間投影を実現した。
- 長期的視覚ナビゲーションのための合成可能な行動埋め込みの学習視覚ナビゲーション2021/2/1
連続的な行動表現CBEを提案し、経路形状を捉えつつ未知障害物に頑健で、省メモリな経路追従とトポロジカルマッピングを実現した。
- SynTouch BioTacの触覚信号の解釈と予測触覚2021/1/1
BioTacの触覚信号から高密度な接触情報を推定するため、実験データセット構築と有限要素モデル、ニューラルネットワークによる双方向マッピングを開発した。
- 協調ロボット動作に向けて：変換木上の動作方策のエンドツーエンド学習マニピュレーション2020/12/1
人間のデモから構造化方策を学習し、複数タスクを同時に満たすロボット動作を生成する手法を提案。7自由度ロボットで有効性を検証した。
- Sim2Real転送の現在地と展望：R:SS 2020ワークショップ報告sim2real2020/12/1
ロボティクス会議R:SS 2020のSim2Realワークショップでの討論・発表・議論をまとめ、シミュレーションから実世界へのスキル転送の定義や有効性、今後の課題を整理した報告書。
- 半構造環境における確実な固定時間マニピュレーション計画のための代替経路プランナ（APP）マニピュレーション計画2020/12/1
可動障害物を含む半構造環境で、事前計算した代替経路群により任意の障害物配置で衝突しない経路を保証し、オンラインでは数マイクロ秒で経路を参照できる計画手法を提案した。
- 学習した暗黙的衝突関数を用いた物体の再配置マニピュレーション2020/11/1
シーンと対象物体の点群から6自由度姿勢の衝突を予測する学習モデルを構築し、MPPI方針と組み合わせて遮蔽のある卓上での把持・配置計画を実現した。
- 音響による確率的ダイナミクスのsim-to-realフレームワークSTReSSDsim2real2020/11/1
跳ねるボールの衝突音から反発係数やノイズモデルをベイズ推定し、確率的シミュレータを実環境に校正して、カップイン予測やロボットアームによるリアルタイム打球実験を実現した。
- 位相不変性に基づくマルチモーダル軌道予測：無信号交差点ナビゲーション軌道予測2020/11/1
無信号交差点でのマルチエージェント軌道予測を、交差点の幾何構造と合理性から軌道空間をモードに縮約する位相不変性の枠組みで定式化し、高確率モードを再構成するMTPを提案。シミュレーションで予測精度を大幅改善し、衝突回避と時間効率の良いナビゲーションを実現した。
- 視覚スキルと事前条件モデルによる反応型長期間タスク実行sim2real2020/11/1
シミュレーションで学習したスキルライブラリと事前条件・終了条件モデルを組み合わせ、実世界で未見の長期タスクをファインチューニングなしで実行する手法を提案した。
- 任意物体の反応型ヒューマン・トゥ・ロボット受け渡し物体受け渡し2020/11/1
視覚と閉ループ運動計画を組み合わせ、未知の多様な物体を人からロボットへリアルタイムに受け渡すシステムを提案し、26物体のベンチマークとユーザー研究で有効性を示した。
- ロボティクスシミュレータ較正のためのユーザーガイドsim2real2020/11/1
シミュレーションから実世界への転移アルゴリズムを比較するためのベンチマークと評価枠組みを提案し、様々な環境で実験して実践的な知見を示した論文。
- スタイン変分モデル予測制御モデル予測制御2020/11/1
MPCをベイズ推論として定式化し、スタイン変分勾配降下法で制御パラメータ上の事後分布を直接推定することで、非凸な最適制御問題でも計画を成功させる手法を提案した。
- ACRONYM：物理シミュレーションに基づく大規模把持データセット把持計画2020/11/1
物理シミュレーションで生成した1770万件のパラレルジョー把持データセットを構築し、学習ベース把持計画の性能向上を示した。
- 目標補助付きActor-Criticによる点群を用いた6Dロボット把持把持2020/10/1
物体の点群を入力に6D把持の閉ループ制御方策を学習する手法を提案し、模倣学習と強化学習を組み合わせた目標補助付きActor-Criticで未見物体への把持性能を向上させた。
- ロボット運動の加速度ベース設計のための幾何学的ファブリック運動生成2020/10/1
RMPを一般化した最適化ファブリックの具体形である幾何学的ファブリックを用い、障害物回避や関節限界回避などを層状に組み合わせて安定性保証付きの反応的ロボット運動を設計する手法を提案した。
- 未見物体インスタンスセグメンテーションのためのRGB-D特徴埋め込み学習セグメンテーション2020/7/1
合成RGB-D画像からメトリック学習でピクセル単位の特徴埋め込みを学習し、mean shiftクラスタリングで未知物体をセグメンテーションする手法を提案した論文。
- RMPflow：マルチタスク動作ポリシー生成のための幾何学的フレームワークマニピュレーション2020/7/1
リーマン運動ポリシー（RMP）を幾何学的に整合させて統合するRMPflowを提案し、動的環境での複数タスクの反応的動作生成を効率化した。
- ロボット環境における未知物体のインスタンスセグメンテーションセグメンテーション2020/7/1
合成RGB-Dデータを用いて、テーブル上の未知物体を深度で初期マスク生成しRGBで精緻化するUOIS-Netを提案し、ロボット把持に応用した研究。
- 物理ベースとデータ駆動の枠組みによる触覚信号の解釈と予測触覚2020/6/1
BioTac触覚センサの大規模データセットと3D有限要素モデルを構築し、生信号から高密度変形場をニューラルネットで予測する手法を提案した。
- パラメータ不確かさ下でのモデルベース汎化のための経路積分制御モデルベース制御2020/6/1
経路積分制御の自由エネルギー定式化でサンプル空間を拡張し、モデルの不確かさを行動に埋め込むことでロボット計画の頑健性を高める手法を提案し、多様なロボットタスクで実機検証した。
- ユークリッド化フロー：安定な力学系学習のための微分同相写像による簡約模倣学習2020/5/1
人間の実演から複雑なロボット動作を、微分同相写像で単純な安定力学系に変換して学習する手法を提案し、ベンチマークと実機で有効性を示した。
- 不確実性を考慮した誘導方策最適化：学習とモデルベース手法を組み合わせたサンプル効率の良い方策学習モデルベースRL2020/5/1
モデルベース方策の不確実性を見積もり、信頼できる領域ではモデルを、不確実な領域では局所的に学習した方策を生のセンサ入力で使うことで、実機のペグ挿入を少ない試行で学習する手法を提案。
- 人間の把持分類に基づく反応的な人からロボットへの受け渡し人ロボット協調2020/3/1
人間が物体を握る把持の種類を深層学習で分類し、その意図に応じてロボットが素早く軌道計画して物体を受け取る人→ロボット受け渡し手法を提案した。
- 粒状体の材料特性を実世界の深度画像から推定するロボティクス向けフレームワークsim2real2020/3/1
粒状材料の山やリングの実世界深度画像から摩擦・反発係数をベイズ推定し、物理シミュレータを自動キャリブレーションする手法を提案。未見の形状予測やロボットによる注ぎ・パターン形成タスクへの汎化を実証した。
- ピクセル入力からの転移可能なタスク実行：深層プランニングドメイン学習マニピュレーション2020/3/1
記号的プランニングと深層学習を組み合わせ、高レベルな述語予測モデルと低レベル方策を階層的に学習することで、未訓練の複雑な多段階マニピュレーションタスクを画像入力から実行可能にした研究。
- 接触フィードバックとGPU加速ロボットシミュレーションによる把持物体の姿勢追跡把持・物体姿勢推定2020/2/1
GPUで並列化した物理シミュレーションとサンプルベース最適化を用い、把持中の物体姿勢を接触情報からリアルタイム(30Hz)で追跡する手法を提案した。
- 情報理論的モデル予測Q学習強化学習2020/1/1
情報理論的MPCとエントロピー正則化強化学習の理論的関連を示し、バイアスのあるモデルを活用できるQ学習アルゴリズムを提案した論文。
- ALFRED：日常タスクの指示を解釈するためのベンチマークVLA2019/12/1
自然言語の指示と視点映像から家庭内タスクの行動系列を学習するベンチマークALFREDを提案し、既存モデルでは性能が低いことを示した。
- 把持の10億通り：物理シミュレーションに基づく稠密な把持データセット上での把持サンプリング手法の評価マニピュレーション2019/12/1
YCB物体21個それぞれについて10億通り以上の平行グリッパ把持を物理シミュレーションで評価し、既存の把持サンプリング手法の偏りと効率を比較した論文。
- LatentFusion: 未知物体の姿勢推定のための微分可能な再構成と描画姿勢推定2019/12/1
少数の参照視点から物体の潜在3D表現を再構成し、任意視点から描画するニューラルレンダラで入力画像の姿勢を直接最適化する、未知物体の6D姿勢推定フレームワークを提案した。
- 散らかった環境での対象物操作に向けた6自由度把持マニピュレーション2019/12/1
部分点群から散らかったシーン内の任意物体に対する6自由度把持を計画する手法を提案し、実機で80.3%の把持成功率を達成した。
- 部分観測環境下でのタスク・運動計画のための信念空間オンライン再計画タスク・運動計画2019/11/1
不確実な実環境でロボットが観測行動と連続制御を組み合わせ、新しい観測に基づき信念状態を更新しながら計画を再構築するオンライン計画・実行システムを提案し、シミュレーションと実キッチンで検証した。
- オンライン把持生成と選択を統合した操作軌道最適化マニピュレーション2019/11/1
把持計画と軌道計画を分離せず、オンライン学習で把持目標姿勢を選びながら把持生成も同時に行う統合手法を提案し、混雑環境での把持動作計画の頑健性と効率を示した。
- 単一画像からのカメラ・ロボット間姿勢推定キャリブレーション2019/11/1
ロボットのRGB画像1枚から深層学習でキーポイントを検出し、PnPで外部カメラの姿勢をオンライン推定する手法を提案。実機3種で従来のオフラインキャリブレーションに匹敵する精度を実現した。
- 動作推論による目標ベース模倣学習模倣学習2019/11/1
第三者視点の動画から記号的な目標を推定するため、タスク・動作計画を組み合わせて実演者の真の意図を曖昧性除去する動作推論フレームワークを提案し、実キッチンで再現可能なことを示した。
- IRIS: 大規模オフライン実演データから制御を学ぶ暗黙的強化学習フレームワークオフライン強化学習2019/11/1
大規模なロボット操作の実演データから、低レベル模倣コントローラと高レベル目標選択を分離して学習するIRISを提案し、完全オフライン学習で高性能な方策を得られることを示した。
- 視触覚を用いた多指ロボットハンド把持政策の文脈的強化学習マニピュレーション2019/11/1
人間の手の動作を初期化に用い、物体のバウンディングボックスと指先触覚センサを組み合わせた文脈的把持政策を強化学習で獲得し、実機でファインチューニングなしに動作させてsim2realのギャップを克服した。
- Motion-Nets：RGB画像による未知環境での未知物体の6Dトラッキング6Dトラッキング2019/10/1
セグメンテーションと並進・回転を分離したモデルで連続フレーム間の物体の6D運動を推定し、生成データで学習して実機PR2や未学習のシミュレーション環境で追跡性能を検証した論文。
- 自然言語指示に従う条件付き自動運転自動運転2019/10/1
人間の運転手とナビゲータから収集した言語データを用い、階層的ポリシーと条件付き模倣学習により自然言語の指示を解釈して安全に走行する自動運転エージェントを提案した。
- DexPilot：素手の視覚認識による多指ロボットハンド・アームの低コスト遠隔操作システム遠隔操作2019/10/1
素手の映像だけから23自由度の多指ロボットハンド・アームを低コストで遠隔操作できる視覚ベースのシステムを開発し、単純なピック&プレースを超える複雑な操作タスクの実現と高次元データ収集を示した。
- 人間とロボットの協調作業を最適化する協調行動モデル人間ロボット協調2019/10/1
ロボットが人間の行動を予測しつつ自身の計画を同時に最適化するMPCベースの枠組みを提案し、物体受け渡しタスクで反応性の高い協調動作を実現した。
- 学習可能なLyapunov関数整形によるリーマン運動ポリシーの融合ポリシー融合2019/10/1
RMPflowのサブタスクポリシー設計の難しさを解決するため、重み関数でLyapunov関数を階層的に整形するRMPfusionを提案し、学習可能かつ大域的安定性を保証することを示した。
- 局所制御の能力測定で大規模トポロジカルナビゲーションを実現ナビゲーション2019/9/1
局所コントローラの能力を正確に測ることで、大規模環境でもスケーラブルで堅牢な視覚的トポロジカルナビゲーションを実現する手法を提案した論文。
- ロボットマニピュレーションのための自己教師あり6D物体姿勢推定6D姿勢推定2019/9/1
シミュレーションで学習したモデルを起点に、実世界画像へ正確な6D姿勢ラベルを自動付与し、物体の把持・押し動作でデータを継続収集しながら姿勢推定を自己教師ありで改善するロボットシステムを提案した。
- 遮蔽に強い高精度変形追跡のためのFCNによる部位セグメンテーション人体追跡2019/8/1
完全畳み込みニューラルネットワークで人体部位をセグメンテーションし、点群フィルタリングにより遮蔽が多い環境でも高精度な3D変形追跡を実現した。
- ロバスト論理力学系によるロボットタスク計画の表現タスク計画2019/8/1
ビヘイビアツリーの柔軟性と理論的保証を両立するRLDSフレームワークを提案し、家庭内マニピュレーションタスクで有効性を示した。
- RGBと深度を別々に活用する未知物体インスタンスセグメンテーションセグメンテーション2019/7/1
合成RGBと合成深度を別々に用いる2段階手法を提案し、卓上環境の未知物体を高精度にセグメンテーションしてロボット把持に応用した。
- ベイズ推論による適応的ドメインランダム化フレームワークBayesSimsim2real2019/6/1
シミュレータのパラメータをベイズ的に推定するBayesSimを提案し、実機軌道から事後分布を求めてSim2Realのドメインランダム化に活用できることを示した。
- PoseRBPF：6D物体姿勢追跡のためのRao-Blackwellized粒子フィルタ物体姿勢推定2019/5/1
物体の3D回転と3D並進を分離し、回転空間を細かく離散化してオートエンコーダで特徴埋め込みのコードブックを構築することで、対称性を持つ物体でも高精度に6D姿勢を追跡する手法を提案した。
- 6-DOF GraspNet：物体操作のための変分グリップ生成マニピュレーション2019/5/1
深さカメラの3D点群から変分オートエンコーダで6自由度の把持姿勢を生成し、評価・改良ネットワークで精錬する手法を提案。シミュレーションのみで学習し実世界で88%の成功率を達成。
- リーマン運動ポリシーを用いたニューラル自律ナビゲーション自律ナビゲーション2019/4/1
画像から車両の制御点RMPを予測し解析的に最適制御指令を計算する深層学習ナビゲーション手法を提案し、実車での障害物回避と未知環境への汎化性能を実証した。
- 接触から機能的な多指把持を合成するContactGraspマニピュレーション2019/4/1
物体表面の接触情報を入力に、人間の把持デモンストレーションから様々なロボットハンド向けの機能的な把持姿勢を合成するフレームワークを提案した。
- 視覚触覚センシングによる運動学・力軌道の統合推定触覚2019/3/1
平面押し作業において、視覚トラッカーと触覚/力覚センサの生データを因子グラフ上の確率推論で融合し、ロボット・物体・接触状態の運動学と力をバッチ/逐次で同時推定する手法を提案した。
- 未来予測による言語からの解釈可能な計画生成言語指示・計画2019/3/1
自然言語の指示を中間目標の系列に変換する枠組みを提案し、行動前に結果を予測する「プロスペクション」を学習させることで、シミュレーション環境でのロボット指示解釈の精度を示した。
- 目標指向ロボット視覚のための早期融合ロボット視覚2018/11/1
目標情報を視覚処理の初期段階で融合させ、タスク特化の表現を生成するEarlyFusionモデルを提案し、模倣学習によるロボット物品取得タスクで有効性を示した。
- RMPflow：自動運動ポリシー生成のための計算グラフマニピュレーション2018/11/1
リーマン運動ポリシー（RMP）を幾何学的に整合させて組み合わせ、個別タスクの局所ポリシーから計算効率の良い大域的運動ポリシーを自動生成する手法を提案し、高自由度マニピュレーションの障害物回避で有効性を示した。
- 触覚サーボのための潜在空間ダイナミクス学習触覚2018/11/1
触覚センサ情報を2次元多様体として扱い、デモンストレーションから触覚サーボ用のダイナミクスモデルを学習する手法を提案し、接触点追従タスクで評価した。
- ロボットインタラクションを通じた触覚力推定のロバスト学習触覚2018/10/1
SynTouch BioTac触覚センサの信号から力を推定するロバストなニューラルネットモデルを、3種類の方法で収集した14万サンプルで学習し、力の方向と大きさの推定精度を大幅に向上させた。
- 実世界経験でシミュレーションのランダム化を適応させ、sim-to-realのループを閉じるsim2real2018/10/1
実世界での少数の試行を方策学習に交互に組み込み、シミュレーションのパラメータ分布を自動調整することで、実機への方策転移を改善する手法を提案した。
- GPU加速シミュレーションによる分散強化学習の高速化sim2real2018/10/1
GPUベースの物理エンジンNVIDIA Flexを用いて強化学習のシミュレーションを高速化し、CPUを大幅に削減しつつ歩行タスクの学習を短時間で実現した。
- 家庭用品の意味的ロボット把持のための深層物体姿勢推定姿勢推定2018/9/1
ドメインランダム化とフォトリアルな合成データのみで学習した単一RGB画像からの6DoF物体姿勢推定ネットワークを提案し、実ロボットによる家庭用品の把持を実現した。
- SPNets: 深層ニューラルネットワークのための微分可能な流体力学流体シミュレーション2018/6/1
粒子ベースの流体シミュレーションをニューラルネットワークの層として実装し、流体パラメータをデータから学習したり液体操作の制御・方策学習を可能にした研究。
- DeepIM：描画画像マッチングによる6D姿勢推定の反復的精緻化6D姿勢推定2018/4/1
初期姿勢から描画画像と観測画像をマッチングさせて6D姿勢を反復的に精緻化する深層ニューラルネットワークDeepIMを提案し、既存手法を大きく上回る精度を達成した。
- ロボティクスにおける深層学習の限界と可能性深層学習2018/4/1
ロボット特有の学習・推論・身体性の課題を整理し、評価指標やシミュレーション学習、データ駆動とモデル駆動の融合の重要性を論じた展望論文。
- リーマン運動ポリシー運動生成2018/1/1
加速度場とリーマン計量を組み合わせた新たな運動生成の枠組みRMPを提案し、複数ポリシーの融合や空間間の変換を幾何学的に一貫して行えることを示した。
- PoseCNN：混雑シーンにおける6D物体姿勢推定のための畳み込みニューラルネットワーク6D姿勢推定2017/11/1
物体中心の画像位置とカメラ距離から3D並進を、クォータニオン回帰で3D回転を推定するCNNを提案し、対称物体対応の損失関数と大規模YCB-Videoデータセットも公開した。
- SE3-Pose-Nets：視覚運動計画・制御のための構造化深層ダイナミクスモデル視覚運動制御2017/10/1
点群データからシーンをセグメント化し姿勢埋め込みと動作による変化を学習する構造化深層ダイナミクスモデルを提案し、低次元姿勢空間での勾配ベース閉ループ制御を実機Baxterで実現した。
- 粒状体マニピュレーションの学習マニピュレーション2017/9/1
ロボットによる粒状体のすくい・放出動作の力学を予測する複数のモデルを比較し、ドメイン特化型CNNが最も高精度で、物理力学を明示的に予測することで方策性能が向上することを示した。
- 深層後継表現を用いた視覚的意味計画視覚計画2017/5/1
視覚環境で初期状態から目標状態へ遷移する行動列を予測するため、模倣学習で強化学習をブートストラップし、後継表現に基づく深層予測モデルでタスク間の汎化を実現した。
- 全畳み込みネットワークによる液体の知覚と推論液体知覚2017/3/1
ロボットが注ぐ動作の中で液体を検出・追跡するために全畳み込みニューラルネットワークを学習させ、時間情報の統合が重要であることを示した。
- データ関連付けRNNによる意味的3Dマッピング意味的マッピング2017/3/1
RGB-D動画から3Dシーンの地図構築と意味ラベリングを同時に行うDA-RNNを提案し、KinectFusionと統合して意味情報付き3D地図を生成した論文。
- 閉ループシミュレーションによる液体の推論sim2real2017/3/1
液体シミュレーションと実時間知覚を閉ループで結び、観測でシミュレータ内の液体状態の誤差を補正することで、実世界との大きな乖離を防ぎ、遮蔽された液体の推論を可能にした。
- 液体注ぎのための視覚フィードバック閉ループ制御マニピュレーション2016/10/1
ロボットがカメラ画像から容器内の液体量を推定し、PID制御で目標量を注ぐ閉ループ手法を提案。モデルフリー推定が優れ、平均誤差38mlを達成した。
- 遅延センサ計測に対応した誘導方策探索強化学習2016/9/1
センサ計測に遅延がある非マルコフ系に対し、状態拡張によって誘導方策探索を拡張し、液体を正確に注ぐタスクで有効性を示した論文。
- 液体の知覚と推論に向けて液体知覚2016/8/1
深層学習で液体の検出と追跡に取り組み、単一フレーム・複数フレーム・LSTMの3モデルを比較した結果、LSTMが最も優れた性能を示した。
- SE3-Nets：深層学習による剛体運動の学習剛体運動/点群2016/6/1
深度画像と行動ベクトルから、物体部位を分割し各部位のSE3変換を予測する剛体運動モデルを提案。従来のフローベースより一貫した運動予測を実現した。
- 全畳み込みネットワークによる液体の検出と追跡液体知覚2016/6/1
単一フレーム・複数フレーム・LSTMの3モデルで液体の検出と追跡を比較し、複数フレーム集約が有効でLSTMが最良であることを示した研究。
- ガウス過程によるロボティクスと制御のデータ効率学習モデルベースRL2015/2/1
ガウス過程で確率的な遷移モデルを学習し、モデル不確実性を計画に組み込むことで、実ロボットでの試行回数を大幅に減らしたモデルベース方策探索法を提案した論文。
- マルチタスク方策探索強化学習2013/7/1
状態とタスクの両方を入力とするパラメータ化方策を学習し、複数の既知・未知タスクに汎化する単一の方策を実ロボット実験で獲得する手法を提案した。
- 移動ロボットの地図構築における再訪問題への階層ベイズアプローチSLAM2012/12/1
ロボットが既知の地図領域か新規領域かを判断する「再訪問題」に対し、環境構造を隠れマルコフモデルで表現しディリクレ事前分布を学習する階層ベイズ手法を提案。複数ロボットの地図統合で有効性を示した。
- 言語と知覚の統合モデルによる接地属性学習言語接地2012/6/1
物体の色や形などの属性分類器と言語の確率範疇文法を同時学習し、物理空間の物体集合を記述する文を解釈できるようにした研究。
