Leonidas Guibas
Stanford University
収録論文 45本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 同じ物理、異なる勾配:微分可能物理シミュレーションの最新動向報告微分可能シミュレーション2026/11/9
微分可能物理シミュレーションにおける「何を微分するか(参照対象)」と「どう実装するか(実現方式)」を分離して整理し、接触の非平滑性や勾配消失のメカニズムも検証したサーベイ。
- 変形物体対応の物理拡張テキストto3Dシーン生成フレームワークSoftPAT3Dテキストto3D/物理シミュレーション2026/11/8
布・ぬいぐるみ・ロープなどの変形物体を、自己交差のない物理的に妥当でシミュレーション可能な状態で生成し、家具や互いと接触させて静的平衡に至らせるテキストto3Dシーン生成手法。
- T2-Z: ロボット世界モデルのためのテスト時環境潜在最適化世界モデル2026/10/15
世界モデルに学習可能な環境潜在を付加し、テスト時に少数の相互作用から潜在を最適化することで未知環境へ適応する手法を提案。
- 幾何認識モーション潜在表現によるロバストな操作ポリシーの学習マニピュレーション2026/7/1
操作中の点群の時間変化を予測することで、外観ではなく物理的な動きを符号化する離散モーション潜在コードを学習し、単視点RGB-D入力で最先端の操作性能を達成した論文。
- デュエット:効率的な教示による二台ロボットの協調理解群制御2026/6/1
二台のロボットが協調して作業するための学習フレームワークを提案。VR遠隔操作と人間同士の協調動作データを活用し、少ない実機データで高性能な協調ポリシーを学習する。
- Fishbone: 1つの3Dアセットから100万通りの制御可能な編集へ3Dアセット生成2026/5/24
3Dメッシュの形状変形を制御するための統一的なリブ・スパイン表現を提案し、リアルタイムで予測可能な変形やアニメーションを可能にする。
- 視点計画:VLMによる3D空間の能動的推論と計画VLA2026/5/1
VLMがカメラ移動による視点変化を予測し、複数ステップの計画で目標視点を特定できるかを検証し、その能力を高める反復的自己探索と視点グラフ蒸留の枠組みを提案した。
- ESI-Bench:知覚と行動のループを閉じる身体化空間知能のベンチマーク身体化空間知能2026/5/1
受動的な観察ではなく、能動的な探索を通じて空間理解を行う身体化空間知能のベンチマークを提案し、能動的探索が受動的観察より優れていることを示した。
- DOT-Sim: 精密な実機-シミュレーション物理較正を備えた微分可能な光学触覚シミュレーション触覚シミュレーション2026/4/1
光学触覚センサの物理的・視覚的リアリズムを高精度に再現するため、Material Point Methodを用いた弾性体モデルと実機のアイドル状態に対する残差画像学習を組み合わせた微分可能なシミュレータを提案し、少数のデモで高速較正を実現した。
- SceneTeract: 3Dシーンにおけるエージェント機能アフォーダンスとVLMの接地3Dシーン理解2026/3/31
3Dシーンの機能性をエージェントの制約下で検証するフレームワークを提案し、複雑な活動を原子アクションに分解して幾何学的シミュレーションで検証する。また、VLMの機能推論能力の評価と、報酬エンジンとしての活用も行う。
- 試行錯誤からの学習:身体性LLMのための内省的テスト時計画VLA2026/2/1
実行前の内省で行動候補を生成・評価し、実行後の内省でモデルと方針を更新する内省的テスト時計画を提案し、長期的な家庭内タスクやロボット実験で性能向上を実証した。
- PhysMem: 身体性物理推論のためのテスト時メモリのスケーリングVLA2026/2/1
VLMロボットプランナがテスト時に経験から物理法則を学び、仮説を検証してから適用するメモリフレームワークを提案。実世界の操作タスクで成功率が大幅に向上。
- 物理世界モデルからのロボット学習マニピュレーション2025/11/1
動画生成モデルと物理世界再構成を組み合わせ、実機データなしでゼロショットのロボットマニピュレーションを実現するフレームワークPhysWorldを提案。
- あらゆる画像からのロボット学習sim2real2025/9/1
1枚の画像から物理シミュレーション可能なロボット環境を生成し、大規模な視覚運動デモンストレーションデータを自動収集するフレームワークRoLAを提案。
- ロドリゲスネットワーク:ロボット動作学習のためのキネマティクス誘導バイアス模倣学習2025/6/1
関節系の運動学構造を反映した帰納バイアスを持つニューラル演算子「Neural Rodrigues Operator」を提案し、それを用いた動作処理特化型ネットワークRodriNetを構築。模倣学習や単眼3Dハンド再構成で有効性を示した。
- ニューラルアテンションフィールド:3Dシーンにおける点間関連性の創発とワンショット巧み把持マニピュレーション2024/10/1
3D空間の任意のクエリ点とシーン点群のクロスアテンションを計算するトランスフォーマーデコーダを自己教師あり学習し、ワンショット実演から新しいシーンで巧みな把持を実現する手法を提案。
- D3RoMa: 素材に依存しないロボットマニピュレーションのための視差拡散ベース深度センシング深度推定2024/9/1
ステレオ画像から拡散モデルで視差マップを予測し、透明・鏡面物体でも高精度な深度推定を実現してロボット操作を改善する手法を提案。
- ARCH: 長期的な接触を伴うロボット組立のための階層型ハイブリッド学習マニピュレーション2024/9/1
パラメータ化されたスキルの低レベルライブラリと模倣学習で訓練した高レベル方策を組み合わせ、接触の多い長期的な組立作業を高精度かつデータ効率的に実現する階層型手法を提案。
- PhysPart: 操作可能物体の物理的に妥当な部品補完3D生成2024/8/1
操作可能な物体の欠けた部品を、形状だけでなく物理的な安定性と可動性を考慮して拡散モデルで生成する手法を提案。
- RAM: 検索ベースのアフォーダンス転移による汎用ゼロショットロボットマニピュレーションマニピュレーション2024/7/1
ロボット・人間・カスタムデータからアフォーダンス記憶を構築し、言語指示に応じて類似デモを検索して2Dアフォーダンスを3D実行可能な形に転移することで、未知の物体・環境・身体でもゼロショットで操作を実現するフレームワーク。
- 未知の関節物体のデジタルツイン構築のためのニューラル陰的表現3D再構成2024/4/1
異なる関節状態の2つのRGBDスキャンから、未知の関節物体の形状と関節モデルを再構成し、デジタルツインを構築する手法を提案。
- SpatialVLM:視覚言語モデルに空間推論能力を与えるVLA2024/1/1
200億規模の3D空間VQAデータを自動生成し、それを用いて視覚言語モデルを学習することで、距離や大きさの定量的な空間推論能力を大幅に向上させた研究。
- SAGE: 意味的パーツと動作可能パーツを橋渡しする関節物体の汎化マニピュレーションマニピュレーション2023/12/1
関節物体の意味的パーツと動作可能パーツを対応付けるGAPartsを導入し、大規模視覚言語モデルと小型専門モデルを組み合わせて自然言語指示に基づく汎化可能な操作を実現するフレームワークを提案。
- ドーナツを作ろう:ツールを用いたゼロショット変形操作のための階層的EMD空間計画変形操作2023/11/1
大規模言語モデルでタスクを段階的に計画し、微分可能物理とEMD空間の損失を用いた閉ループ制御で、訓練なしにツールを使った変形物体操作を実現する手法を提案。
- EquivAct: 剛体物体操作を超えたSIM(3)同変視覚運動ポリシーマニピュレーション2023/10/1
視覚表現とポリシー構造にSIM(3)同変性を組み込み、物体の位置・回転・スケールが大きく異なっても汎化する操作ポリシーを学習する手法を提案。布や関節物体を含むタスクで実機ゼロショット転移を実証。
- SparseDFF: スパースビュー特徴蒸留によるワンショット巧みな操作マニピュレーション2023/10/1
スパースなRGBD画像から大規模2D視覚モデルを用いて3Dシーンの意味特徴を抽出し、ワンショットで巧みな操作を学習する手法を提案。
- AO-Grasp: 関節物体の把持生成マニピュレーション2023/10/1
部分点群から関節物体を操作可能な6自由度把持を生成する手法を提案し、新規データセットで学習してシミュレーションと実環境でベースラインを上回る成功率を達成した。
- GINA-3D: 実世界データから暗黙的ニューラルアセットを生成する学習3D生成2023/4/1
カメラとLiDARの実走行データから、多様な車両や歩行者のリアルな3D暗黙的ニューラルアセットを生成するモデルGINA-3Dを提案。
- AdaAfford: 少数回のインタラクションで3D関節物体の操作アフォーダンスを適応学習アフォーダンス2021/12/1
3D関節物体の操作アフォーダンスを、テスト時に少数回のインタラクションを行うことでインスタンスごとに精度良く適応させるフレームワークAdaAffordを提案し、PartNet-Mobilityデータセットで有効性を示した。
- IFR-Explore: 3D屋内シーンにおける物体間機能関係の学習物体間関係学習2021/12/1
3D屋内環境でスイッチと照明のような物体間の機能関係を、大規模シーンでの事前学習と対話的探索方策により学習・適応するAIシステムを提案し、AI2ThorとPartNetに基づく新ベンチマークで有効性を示した。
- VAT-Mart: 3D関節物体操作のための視覚的行動軌道提案の学習マニピュレーション2021/6/1
関節物体を操作するため、密な視覚的行動アフォーダンスと軌道提案を予測する知覚・相互作用フレームワークを提案し、強化学習と知覚学習を同時に行うことで未知形状や実世界データへの汎化を示した。
- O2O-Afford: アノテーション不要の大規模物体間アフォーダンス学習アフォーダンス2021/6/1
物理シミュレーションとShapeNetモデルで物体同士の相互作用タスク環境を構築し、人手アノテーションなしで物体間アフォーダンスを学習する枠組みを提案した論文。
- Where2Act:関節物体に対するピクセルから行動への変換アフォーダンス2021/1/1
画像と深度から、関節物体の各ピクセルで可能な押す・引くなどの操作と動く領域を予測するネットワークを提案し、シミュレーションで学習してカテゴリを超えて汎化する。
- 量子置換同期:D-Waveによる順列同期の量子アルゴリズム量子最適化2021/1/1
順列同期をQUBO問題として定式化し、置換制約を組み込んでD-Waveの断熱型量子コンピュータで解く初の量子アルゴリズムQuantumSyncを提案した。
- 最適輸送による回転上の確率測度の同期回転同期/最適輸送2020/4/1
グラフの各辺が回転の確率測度で表される問題に対し、Sinkhornダイバージェンスを用いた測度同期の枠組みとリーマン粒子最適化法を提案し、SLAMやSfMなどの多峰性・不確実性を扱えるようにした。
- 連続混合モデルによる曖昧なシーンでの6Dカメラ再位置推定自己位置推定2020/4/1
対称性や繰り返し構造で曖昧な環境に対応するため、カメラ姿勢多様体上の連続混合モデルで複数の姿勢仮説と不確実性を予測するマルチモーダル再位置推定手法を提案し、新データセットで評価した。
- 単一画像からの3D部品組み立て学習組み立て/3D姿勢推定2020/3/1
完成した家具の1枚の画像と部品一式から、各部品の3D姿勢と組み立て関係を推論して組み立てる手法を提案した論文。
- 平面から角へ:非構造3D点群における多目的プリミティブ検出3D点群認識2020/1/1
非構造3D点群から直交平面・交線・関係グラフ・3平面交差の角を一括推定する2段階手法を提案し、壁検出や6Dトラッキングで有効性を示した。
- 3D点群のための四元数同変カプセルネットワーク点群/同変ネットワーク2019/12/1
点群を入力に3D回転・並進に同変かつ点の順序に不変なカプセル演算子を提案し、四元数上の動的ルーティングをWeiszfeld法と理論的に関連付けて回転平均として解釈した。これにより回転の明示的教師なしで物体分類と姿勢推定を同時に行えるネットワークを構築した。
- カテゴリレベル関節物体の姿勢推定姿勢推定2019/12/1
単一深度画像から未学習の関節物体インスタンスの姿勢を推定するため、関節を考慮した正規化座標空間階層(ANCSH)を提案し、PointNet++で部位分割・正規化座標・関節パラメータを予測する手法。
- 中レベル視覚事前知識を用いたナビゲーション学習ナビゲーション2019/12/1
距離推定やエッジ検出などの中レベル視覚スキルを強化学習に組み込み、生画像からの学習より速く汎化性能も高いナビゲーションポリシーが得られることを大規模実験で示した論文。
- サイドチューニング:加算型サイドネットワークによるネットワーク適応のベースライン転移学習2019/12/1
事前学習済みネットワークを変更せず、軽量な「サイド」ネットワークを加算で融合して学習する適応手法を提案し、過学習や破滅的忘却に強く多様なタスクで有効性を示した。
- 中レベル視覚表現が視覚運動ポリシーの汎化とサンプル効率を改善する視覚運動ポリシー2018/12/1
距離推定やエッジ検出などの中レベル知覚スキルを強化学習に組み込むことで、生画像からの学習よりナビゲーションタスクの汎化性能とサンプル効率が向上することを示し、効率的な特徴セットを提案した。
- タスクノミー:視覚タスク間の転移学習構造の解明転移学習2018/4/1
26種類の視覚タスク間の転移学習依存関係を計算的にモデル化し、タスク間の構造を地図化することで、ラベル付きデータの需要を約2/3削減できることを示した論文。
- ShapeNet:情報豊富な3Dモデルリポジトリ3Dデータセット2015/12/1
多様なカテゴリの3D CADモデルを大規模に収集し、形状の整列や部品、対称面、物理サイズなどの注釈を付与したデータセット基盤を構築した。
