Dmitry Berenson
University of Michigan
収録論文 70本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- MDF++: 視覚触覚ワールドアクションモデルのためのエンドツーエンド表現学習触覚/マニピュレーション2026/11/6
視覚と触覚を統合したワールドアクションモデルにおいて、凍結済み事前学習エンコーダではなく拡散バックボーンと共に表現をエンドツーエンドで学習する手法を提案し、接触の多い操作タスクで最大50%の性能向上を実現した。
- 自動運転のための視覚言語モデルを用いた局所適合安全モニタリング自動運転2026/10/2
凍結した視覚言語モデルの予測を、シーンに応じた局所的な適合予測で確率的に校正し、衝突を引き起こす軌道の検出率を大幅に向上させた。
- トポロジー情報を活用した視覚プロンプティングによる視覚言語行動ポリシーVLA2026/9/20
複雑な障害物形状を持つ操作タスクにおいて、トポロジー署名を用いてVLAポリシーを誘導する視覚プロンプティングフレームワークを提案し、シミュレーションと実機で有効性を示した。
- PDDL-ART: デモンストレーションからの自律的シンボリック抽象化による長期的ロボット操作のための視覚言語モデル操作計画2026/8/17
本論文は、単一の専門家デモと自然言語タスク記述からPDDLドメインと問題記述を自動生成するVLMベースのフレームワークPDDL-ARTを提案する。構文・意味・実行レベルの多段階補正パイプラインと、幾何・時間推論のためのツール使用を導入し、長期的操作タスクで有効性を示した。
- 触覚シミュレーションを使わない触覚Sim2Real:ボトルネック潜在再構成による実現sim2real2026/8/16
触覚センサのシミュレーションを避け、シミュレータ内のオラクルセンサ(点群と指先力)で学習したポリシーを、実センサの潜在表現をオラクルに合わせることで実機に転移するフレームワークを提案。挿入や歯車噛み合わせで高成功率を達成。
- 粒子ベース共形予測による接触を考慮した不確実性校正:層状構成空間における不確実性校正2026/8/1
接触を伴うロボット動作の将来構成を確率的に保証する予測領域を生成する、幾何学的認識を持つ共形予測アルゴリズムを提案。
- STEMbot: 植物の葉陰を移動するためのコンプライアントロボットフィールドロボティクス/登攀ロボット2026/7/1
植物の葉の裏や茎にいる害虫を早期発見するため、植物の葉陰を自律移動できる小型の登攀ロボットSTEMbotを開発した。幾何学的SLAMとセマンティックマップを統合し、枝分かれした茎も移動可能な経路計画を実現している。
- TAP-VLA: 視覚言語行動モデルのための触覚アノテーションプロンプティングVLA/触覚2026/6/1
触覚情報を視覚的なオーバーレイとしてVLAモデルに統合し、接触を伴う操作タスクの成功率を大幅に向上させるフレームワークを提案した。
- PLUME: 多指操作のための確率的潜在統合世界モデリングとパラメータ推定マニピュレーション2026/6/1
多指ロボットの操作タスクにおいて、物理パラメータの不確実性に対処するため、パラメータの信念とダイナミクスを同時に学習する世界モデルを提案し、シミュレーションから実機へのゼロショット転送を実現した。
- セマンティック画像からの力学的不確かさの局所コンフォーマル校正不確かさ定量化2026/5/1
視覚情報を用いて、未知のテスト環境でも有効な不確かさ定量化の保証を提供するコンフォーマル予測アルゴリズムOCULARを提案した。
- 分散触覚センシングによる外部接触と把持内姿勢の同時推定触覚2025/12/1
触覚センサの局所観測と接触の物理制約をファクタグラフで統合し、物体の把持内姿勢と外部接触を同時推定する手法を提案。触覚のみでも既存手法を上回る精度を実現。
- 不正確な確率動力学下での行動不確実性を等角非ホロノミックLie群で定量化する不確実性定量化2025/12/1
Lie群の対称性を考慮した等角予測により、不正確な動力学モデルでも行動後のシステム構成を指定確率で含む予測集合を構築する手法を提案し、SE(2)ロボットで検証した。
- 力強いマニピュレーションのためのマルチモーダル拡散フォーシングマニピュレーション2025/11/1
マルチモーダルなロボット軌道データから、ランダムマスキングと拡散モデルを用いて時系列・モダリティ間依存を学習し、接触の多い力強いマニピュレーションタスクで高い性能とノイズ頑健性を実現した。
- AVO: 多指マニピュレーションにおける接触モード切替のための償却価値最適化マニピュレーション2025/10/1
学習した価値関数を軌道最適化のコストに組み込み、接触モード切替を伴う多指操作を効率的に計画する手法を提案し、ネジ回しタスクで計算量を半減しつつ性能を向上させた。
- CADRE: 暗黙的接触記述子とタスク適応型回復アフォーダンスによる動的キャッチングマニピュレーション2025/10/1
落下中の物体を把持範囲内でキャッチし、元の操作タスクに戻れるよう回復させる強化学習フレームワークCADREを提案。接触特徴を暗黙的に抽出し、未見物体にもゼロショットで汎化できる。
- マルチフィンガーマニピュレーションにおける復旧のための軌道最適化問題の拡散マニピュレーション2025/10/1
拡散モデルを用いて接触の多いタスクの異常状態を検出し、軌道最適化で復旧軌道を計画するフレームワークを提案。オンライン実行を高速化する拡散蒸留法も導入し、ドライバー回しタスクで96%の性能向上を達成。
- AnoF-Diff: 力強い道具使用のための1ステップ拡散モデルによる異常検知異常検知2025/9/1
拡散モデルで力覚・トルク特徴を抽出し、ノイズの多い時系列データから道具使用時の異常をオンラインで検知する手法を提案。
- 計画クエリに基づくモデル生成による変形可能物体操作のモデルベース制御変形可能物体操作2025/8/1
計画クエリに応じて物体の領域ごとに適応的な解像度のダイナミクスモデルを拡散モデルで生成し、木操作タスクで計画速度を2倍にした研究。
- 変形ツールと剛体物体の接触相互作用推定:学習とモデルベース最適化の融合マニピュレーション2025/5/1
変形するツールが剛体を巧みに操作する際の運動と接触力を、学習と物理モデルを組み合わせて推定する手法を提案し、シミュレーションと実機で有効性を示した。
- 農業環境における言語誘導型物体探索物体探索2025/3/1
大規模言語モデルを活用し、農場環境で未見の対象物を物体間の意味的関係から推論して効率的に探索する手法を提案し、実機ロボットで検証した。
- 拡散モデルに基づく確率的接触探索による多指マニピュレーションマニピュレーション2024/10/1
拡散モデルで接触モード列を生成しA*探索と粒子フィルタで不確実性を考慮して多指操作の接触計画を行う手法を提案し、実機ネジ回しタスクなどで有効性を示した。
- 暗黙的接触拡散モデル:潜在点群拡散による逐次的接触推論マニピュレーション2024/10/1
物体と環境の接触関係を表す潜在記述子の系列を拡散モデルで生成し、MPCのガイドとして使うことで、ケーブル配線やノート折りなどの長期的な接触リッチ操作を実現した研究。
- データセット洗練によるロボットマニピュレーションのためのガウス過程陰関数曲面の制約マニピュレーション2024/10/1
視覚と状態追跡から接触データを推定し、ガウス過程陰関数曲面で障害物をモデル化してMPCで回避する手法を提案。実世界のケーブル操作で10/10成功。
- 局所Conformal Calibrationによる偶然的不確かさと認識的不確かさの動学的不確かさの定量化不確かさ定量化2024/9/1
動学モデルの偶然的不確かさを局所的に較正し、認識的不確かさも考慮した確率的に有効な予測領域を生成するConformal Prediction手法を提案し、動学が大きく変化する状況での安全な計画立案に応用した。
- 微分可能な転がりと幾何制約を用いた軌道最適化による多指マニピュレーションマニピュレーション2024/8/1
物体のSDFとサンプリングを組み合わせ、指の転がりと接触を微分可能に扱う軌道最適化手法を提案し、ネジ回しやハンド内回転などの多指タスクで性能を向上させ、実機にも適用した。
- 相互情報量を用いた物体探索マニピュレーションマニピュレーション2024/8/1
視覚的に隠れた環境で既知の可動物体の姿勢を推定するため、相互情報量に基づいてロボットの接触を伴う探索行動をオンライン生成する手法を提案。
- 触覚による非把持物体操作:外部接触モード制御触覚2024/5/1
高解像度触覚センサを備えたグリッパで把持した物体を、接触モードを制御しながら滑らせたり回転させたりする非把持操作の計画・制御手法を提案。
- 把持ループ署名:ロープ・ケーブル操作計画のためのトポロジー表現マニピュレーション2024/3/1
ロープやケーブルを複数の把持器で操作する際に生じる把持ループのトポロジーを「把持ループ署名」として分類し、それを用いて計画を効率化する手法を提案。シミュレーションと実機実験で有効性を示した。
- 不正確なモデルに対するサンプリングベース動作計画のオンライン適応動作計画2024/3/1
モデル誤差の推定とオンライン観測を用いて、サンプリングベース動作計画のコスト関数とサンプリングバイアスを再計画ごとに適応させ、信頼できない動作を回避する手法を提案した。
- 擬距離と制約多様体の学習による学習済みダイナミクスの分布外汎化の改善学習ダイナミクス2024/3/1
ロボットダイナミクスのスパース性と非ホロノミック制約をデータから学習し、分布外状態での予測精度を向上させる手法を提案。
- サブゴール拡散モデル:粗から細へのサブゴール生成によるロボットマニピュレーションのモデル予測制御ガイドマニピュレーション2024/3/1
拡散モデルを用いてMPCのためのサブゴール列を粗から細へ動的に生成し、長期的なマニピュレーションタスクの計画性能を向上させる手法を提案。
- 制約付きスタイン変分軌道最適化軌道最適化2023/8/1
軌道分布に対する制約付き汎関数最小化として定式化し、SVGDで多様な制約充足軌道を並列生成する手法を提案。
- 運動計画をオンライン学習として捉える:動力学サンプリングベース計画へのマルチアームバンディットアプローチマニピュレーション2023/8/1
動力学制約下の運動計画において、サンプリング分布を非定常マルチアームバンディット問題として適応的にバイアスし、高報酬領域をクラスタリングで特定することで、より速く高品質な解を得る手法を提案した。
- 接触と自由空間データから多様で妥当な姿勢推定を生成するCHSEL触覚2023/5/1
接触・触覚データから物体の妥当な姿勢集合を推定する手法CHSELを提案。自由空間情報を考慮した微分可能な体積コスト関数とQuality Diversity最適化により、多様で高品質な姿勢を生成する。
- 視触覚フィードバックからの物体変形と接触パッチの統合推定触覚2023/5/1
視覚と触覚の情報を統合し、暗黙表現を用いて物体の変形と接触パッチを同時にモデル化するNDCFを提案。シミュレーションで学習し、実世界へ直接転移できることを示した。
- 少ない人間データで自然言語を線形時相論理へ翻訳するロボットタスク仕様学習VLA2023/3/1
LLMで合成した自然言語コマンドデータを用いて翻訳器を微調整し、制約付きデコーディングで構文的に正しいLTL仕様を生成することで、わずかな人間注釈でも高精度に自然言語からLTLへの変換を実現した。
- 視触覚接触サーボのための柔軟ツールと環境の相互作用ダイナミクス学習視触覚/マニピュレーション2022/10/1
柔軟なツールと環境の接触を視触覚知覚から予測する接触特徴表現とダイナミクスモデルを学習し、障害物を避けながらヘラでこする作業を実現する制御手法を提案した。
- 変形可能物体操作のための動力学モデルの焦点適応変形物体操作2022/9/1
ロープや植物など変形物体の操作において、ソース環境と動力学が類似する領域にのみモデル適応を集中させることで、データ効率の良いオンライン適応手法FOCUSを提案した。
- 膜によるマニピュレーション:高解像度で高変形可能な触覚センシングと制御触覚2022/9/1
柔らかい触覚センサ膜の変形ダイナミクスを学習し、把持物体の姿勢を推定することで、マーカー描画や把持内回転などの接触の多いタスクを高精度に実現する手法を提案した。
- 学習知覚モジュールと収縮理論による画像からの安全な出力フィードバック運動計画運動計画2022/6/1
RGB-D画像と学習知覚モジュールを用いたフィードバック制御において、収縮理論に基づく状態推定誤差の上界を導出し、サンプリングベース運動計画に統合することで実行時の安全性と目標到達を保証する手法を提案した。
- ロボットマニピュレーションのためのデータ拡張マニピュレーション2022/5/1
物理と操作領域の知識に基づき、剛体変換で軌道データを拡張する手法を提案し、円柱の押し動作のダイナミクス学習とロープ操作の制約チェッカー学習で有効性を示した論文。
- 正規化フローと分布外射影を用いた変分推論MPCMPC2022/5/1
正規化フローで最適制御列の分布を学習し、分布外環境では環境表現を射影して軌道を最適化する、衝突回避ナビゲーション向けのサンプリング型MPCを提案した論文。
- 接触情報を用いた散らかった物体のソフトトラッキングによるブラインド物体検索マニピュレーション2022/1/1
視覚が使えない散らかった環境で、接触点の位置と物体との曖昧な対応をパーティクルフィルタで追跡し、対象物体を把持・検索する手法を提案した論文。
- ガウス過程による制約学習と確率的制約付き動作計画動作計画2021/12/1
局所最適なデモンストレーションからKKT条件を用いてガウス過程で制約を学習し、その不確実性を活かして確率的に安全な軌道を計画する手法を提案した。
- 接触情報で物体形状を補正する制約付き潜在形状投影形状推定2021/10/1
RGBDから形状事前分布を作り、ロボットの接触観測と整合するよう形状を補正するCLASPを提案し、予測精度の向上を示した。
- 変形物体マニピュレーションの課題と展望変形物体操作2021/5/1
変形物体操作(DOM)の研究動向をハードウェア・センシング・モデリング・計画・制御の各側面から概観し、主要な課題と今後の研究方向を整理したサーベイ論文。
- RGBDトラッキングとセグメンテーション木サンプリングを融合した多仮説ボリューメトリックセグメンテーションセグメンテーション2021/4/1
遮蔽で曖昧な物体境界を、セグメンテーション木からの複数仮説サンプリングとトラッキング融合により時間経過で推定・更新する手法MSTを提案し、卓上環境で有効性を示した。
- 学習した収縮計量によるモデル誤差伝播を考慮した未知システムの安全なフィードバック運動計画運動計画2021/4/1
未知ダイナミクスを持つシステムに対し、学習モデルの誤差を確率的に評価し、収縮ベース制御器の追従誤差上界を最適化することで、安全なフィードバック運動計画を実現する手法を提案した。
- シンプルに保つ:単純モデルによる複雑系制御のためのデータ効率学習モデルベース制御2021/2/1
画像から複雑なダイナミクスを持つ系を制御するため、単純モデル近似と視覚類似度を用いたモデル予測制御LVSPCを提案し、テザー質量とロープ操作で少ないデータで高性能を実現した。
- 物理シミュレーション不要の遮蔽に頑健な変形物体トラッキング変形物体追跡2021/1/1
RGBDシーケンスとCoherent Point Driftを用い、局所線形埋め込みや形状記述子で遮蔽時の位相整合性と追跡復帰を実現した、物理モデル不要の変形物体追跡手法。
- 曖昧な深度画像から多様で妥当な形状補完を生成する手法形状補完2020/11/1
単一の2.5D深度画像から、観測と整合する複数の妥当な3D形状を多様に生成するPSSNetを提案し、物体把持に応用した。
- 幾何制約を課しながら部分的に遮蔽された変形物体を追跡する手法変形物体追跡2020/11/1
RGBD画像と運動モデルを用いて、ひもや布などの変形物体が遮蔽や障害物に囲まれた環境でも形状を追跡する手法を提案。凸幾何制約により自己交差や障害物への貫入を防ぎ、従来法を大きく上回る精度を実現した。
- 不確実な制約を考慮した模倣学習による適応的安全動作計画動作計画2020/11/1
実演から不確実な制約を学習し、ロバスト最適化で制約の信念を獲得して安全性と性能を両立する軌道計画を実現する手法を提案した。
- 罠を認識して脱出する階層型モデル予測制御モデル予測制御2020/10/1
未知の罠状態に陥った際に、目標追従と復帰行動を切り替える二層階層制御TAMPCを提案し、接触を介してしか観測できない障害物がある実機ペグ挿入などで有効性を示した。
- 学習ダイナミクスを用いた計画:リプシッツ定数による安全性と到達可能性の確率的保証運動計画2020/10/1
未知ダイナミクスを持つシステムに対し、学習モデルと真のダイナミクスの差のリプシッツ定数を推定し、その妥当性を確率的に保証することで、安全性・到達可能性・目標安定性を確率的に保証するフィードバック運動計画法を提案した論文。
- 劣悪なデモンストレーションから時相論理式を学習して多段階タスクを説明する手法模倣学習2020/6/1
成功だが最適とは限らないデモから、KKT最適性条件と反例誘導型反証を用いてLTL式の原子命題と論理構造を学習し、多段階タスクを説明する手法を提案。
- 視界制約付き実演から障害物と経路の妥当性を推定する学習from実演2020/5/1
視界が遮られる環境で逐次再計画しながら示された実演経路から、2D環境の障害物配置を制約充足問題として推定し、新規経路計画や環境の確率的表現の復元を行う手法を提案した。
- 選択的稠密化によるロードマップ上の高速計画経路計画2020/2/1
ロードマップを層状に逐次追加し、残り計画時間の推定で探索を誘導することで、難しい環境でも高速に経路計画を行う手法を提案した論文。
- コスト関数不確実性下での局所最適実演からの制約学習模倣学習2020/1/1
コスト関数が未知の状況で、局所最適な実演からKKT条件とMILPを用いてパラメトリック制約を学習する手法を提案し、7自由度アームやクアッドロータで有効性を示した。
- 予測・計画・制御を交互に組み合わせた変形物体操作変形物体操作2020/1/1
変形物体の操作において、計画と制御をいつ切り替えるかをデッドロック予測で判断し、高精度モデルなしでロープや布の複雑な操作を実現するフレームワークを提案した。
- 縮約状態空間における計画のためのダイナミクスモデル信頼判定学習マニピュレーション2020/1/1
変形物体操作などで計算効率のため状態空間を縮約する際、真のダイナミクスと縮約モデルの不一致を分類器で検出し、計画器を信頼できる行動へ誘導する手法を提案。ロープ操作でRRT計画の成功率が向上した。
- 実演からの高次元パラメトリック制約の学習制約学習2019/10/1
安全な専門家実演から高次元のパラメトリック制約を学習するスケーラブルな手法を提案し、hit-and-runサンプリングで不安全軌道を生成して整数計画で不安全集合を表現する。
- 学習したゼロ・ワンステップ捕捉性予測による堅牢なヒューマノイド接触計画歩行2019/9/1
外乱を受けても転倒せず目標に到達できる確率を最大化する足配置計画を提案し、ニューラルネットでゼロ・ワンステップ捕捉性を高速予測することで、従来より外乱に強い計画を効率的に生成できることを示した。
- 遮蔽された形状を推論して密集環境での物体探索を改善マニピュレーション2019/7/1
密集した卓上環境で物体を探す際に、深層学習による形状補完とボリューム記憶をマニピュレーション計画に組み込み、遮蔽領域の内容を推論することで探索に必要な行動数を大幅に削減した。
- 実演からの制約学習学習 from 実演2018/12/1
安全な実演とシステムモデルから、タスク間で共有される未知の制約を学習する手法を提案。hit-and-runサンプリングで不安全軌道を生成し、整数計画で安全・不安全集合を一貫して表現する。
- 学習した重心ダイナミクス予測による効率的なヒューマノイド接触計画接触計画2018/10/1
重心モーメンタムの動的進化を学習で予測し、探索ベースの接触計画で動的にロバストな接触系列を高速生成する手法を提案した。
- 変形物体操作のためのバンディット型モデル選択マニピュレーション2017/3/1
変形物体の操作をマルチアームドバンディット問題として定式化し、複数の物体モデルを腕として扱い、探索と活用のバランスを取りながら高精度なモデリングに依存せず操作する手法を提案した。
- 接触を伴う操作における駆動不確実性下での計画とロバスト実行マニピュレーション2017/3/1
駆動の不確実性があるロボットが環境との接触を伴う操作を確実に行えるよう、粒子ベースの不確実性モデルと接触・コンプライアンスのシミュレーションを用いたサンプリング計画で部分方策を生成し、実行中の予期せぬ挙動に適応するロバストな実行手法を提案した。
- 共有作業空間における人間の到達運動予測のためのゴール設定逆最適制御と反復再計画人間動作予測2016/6/1
協働組立作業の動作計測データから逆最適制御でコスト関数を学習し、STOMPベースの反復再計画で人間の到達運動を予測する手法を提案した。
- 第1回Amazon Picking Challengeの分析と観察マニピュレーション2016/1/1
倉庫棚から商品を自動で取り出すロボット競技の初開催概要と、参加26チームへのアンケート結果をまとめ、機構・知覚・計画手法の傾向と成功要因を分析した。
