Krishna Murthy Jatavallabhula
Johns Hopkins University
収録論文 28本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 接触の多い操作では手首カメラの代わりに触覚センサーが有効触覚2026/11/7
手首カメラの代わりに指装着型の低コスト触覚アレイを用い、視覚触覚ポリシーで接触の多い操作や遮蔽された操作の成功率を大幅に改善できることを実機6タスクで示した。
- OpenTac:カスタマイズ可能でスケーラブルな3D触覚センシングのオープンエコシステム触覚2026/10/22
テキストや2D輪郭から自動設計できる抵抗式触覚スキンと、シミュレータ・転送学習・高速データ取得を含むエコシステムを構築し、30以上のロボット実装で3D触覚を活用した制御とマニピュレーション学習を実証した論文。
- DREAMSTEER: 潜在世界モデルによるVLAポリシーの展開時誘導(微調整不要)VLA/世界モデル2026/7/1
事前学習済みの視覚言語行動(VLA)ポリシーを、微調整なしで展開時に潜在世界モデルと価値モデルを用いて誘導し、分布シフト下での成功率と指示追従精度を大幅に向上させるフレームワークを提案した。
- Locate 3D: 自己教師あり学習による実世界3D物体位置推定3D位置推定2025/4/1
センサー点群に適用可能な自己教師あり学習手法3D-JEPAを提案し、言語指示に基づく3D物体位置推定を実現。新データセットも構築し、ロボットやARでの実世界展開を可能にした。
- SparseLoc: 自律ナビゲーションのためのスパースオープンセットランドマークベースのグローバル位置推定位置推定2025/3/1
視覚言語基盤モデルを活用してスパースな意味トポメトリック地図をゼロショットで生成し、モンテカルロ位置推定と後期最適化を組み合わせることで、高精度かつ効率的なグローバル位置推定を実現した。
- 先読みして行動:家庭環境での効率的なタスク実行のためのLLMと古典的プランニングの統合タスクプランニング2025/2/1
LLMによる少数のプロンプトで将来のタスクを予測し、それを古典的プランニングの目標として用いることで、複数の家事タスクを同時に達成する行動列を生成し、実行時間を31%削減した。
- PickScan: 手持ち操作による物体発見と再構成3D再構成2024/11/1
RGB-Dカメラで物体を持ち上げながら撮影し、物体ごとの3Dモデルを生成するクラス非依存な手法を提案。操作検出とマスク抽出により高精度な再構成を実現した。
- ガウススプラッティングによる粒状体操作のための視覚的モデル予測制御マニピュレーション2024/10/1
シーンをガウススプラッティングで表現し、その上で視覚的ダイナミクスモデルを学習してモデル予測制御を行うことで、豆やナッツなどの粒状体の山を効率的に操作する手法を提案した。
- SplaTAM: 3Dガウシアンによる高密度RGB-D SLAMのスプラット・追跡・マッピングSLAM2023/12/1
3Dガウシアンを用いた明示的なボリューム表現により、単一の未姿勢RGB-Dカメラから高精度な追跡とマッピングを実現するSLAM手法を提案。
- 言語拡張トポメトリック地図による自動運転ナビゲーション自動運転ナビゲーション2023/10/1
高精度LiDAR地図を使わず、道路網情報とクラウドソースの言語ランドマークのみを用いて、視覚言語モデルとベイズ推定を組み合わせて自動運転車を目的地まで誘導するシステムを開発した。
- Talk2BEV:自動運転のための言語拡張バードアイビューマップVLA2023/10/1
自動運転向けに、自然言語クエリでバードアイビュー(BEV)マップを操作・推論できる大規模視覚言語モデルインターフェースを提案し、1000シーン・2万問超のベンチマークも公開した。
- STAMP: 微分可能な物理シミュレーションとStein変分勾配降下法によるタスク・モーション統合計画タスク・モーション計画2023/10/1
タスク計画と運動計画を連続最適化問題に緩和し、微分可能物理シミュレーションの勾配とStein変分勾配降下法を用いて多様な解を一度の最適化で並列に求める手法を提案した。
- 触覚による外部接触パッチ推定に基づく安定配置触覚2023/9/1
把持物体と環境の接触パッチを触覚・力覚から推定し、複雑形状物体を安定に積み重ねるための配置安定性を評価する手法を提案。
- ConceptGraphs: 知覚と計画のためのオープンボキャブラリ3Dシーングラフ3Dシーングラフ2023/9/1
2D基盤モデルを多視点統合して3Dシーングラフを構築し、言語プロンプトによる計画タスクを可能にするオープンボキャブラリ表現を提案。
- AnyLoc: あらゆる環境に対応する汎用視覚的位置認識VPR2023/8/1
自己教師あり学習モデルの汎用特徴量と教師なし特徴集約を組み合わせ、再学習なしで都市・屋内・水中など多様な環境で高精度に動作する視覚的位置認識手法を提案した。
- 何でも追従:実時間でのオープンセット検出・追跡・追従追従/オープンセット検出2023/8/1
テキスト・画像・クリックのマルチモーダルなクエリで任意の物体を検出・追跡し、ドローンで実時間追従するオープンボキャブラリなロボットシステムを提案。
- CLIPGraphs: 物体と部屋の親和性を推論するマルチモーダルグラフネットワークシーン再配置2023/6/1
家庭内での物体配置タスクにおいて、知識グラフと視覚言語特徴を組み合わせたグラフネットワークで物体と部屋の親和性を学習し、従来手法より高精度に適切な配置部屋を推定する手法を提案。
- PAC-NeRF:物理拡張連続体ニューラル放射場による形状未知のシステム同定sim2real2023/3/1
多視点動画から物体の形状と物理パラメータを同時推定するため、連続体力学の保存則に従うハイブリッドEuler-Lagrange表現のNeRFを提案し、弾性体・砂・流体など多様な材料で有効性を示した。
- ConceptFusion: オープンセットなマルチモーダル3Dマッピング3Dマッピング2023/2/1
基盤モデルを活用し、言語・画像・音声など多様なクエリで検索可能なオープンセット3Dシーン表現を構築する手法を提案。
- 微分可能シミュレーション最適化の大域的視点からの再考sim2real2022/7/1
接触や変形を含む複雑な系では微分可能シミュレーションの勾配が荒れた地形になり単一降下では大域最適に届かない問題に対し、ベイズ最適化と半局所的な「跳躍」を組み合わせて勾配を活かしつつノイズに頑健な大域探索法を提案した。
- TASKOGRAPHY: 大規模3Dシーングラフ上でのロボットタスク計画の評価タスク計画2022/7/1
3Dシーングラフ上でのロボットタスク計画を評価する初の大規模ベンチマークを構築し、グラフの間引き手法SCRUBと学習ベース計画の構造活用手法SEEKを提案した。
- AutoLay:自動運転向けアモーダルレイアウト推定のベンチマーク自動運転/レイアウト推定2021/8/1
単眼画像から鳥瞰図のセマンティクスと占有を推定するアモーダルレイアウト推定のため、KITTIとArgoverseを統合したデータセットと評価ベンチマークを構築し、複数の手法を比較した論文。
- 微分可能シミュレーションによる物性推定と視覚運動制御sim2real2021/4/1
微分可能なマルチフィジックスシミュレーションと微分可能レンダリングを組み合わせ、動画のピクセルから直接、質量・摩擦・弾性などの物理特性を推定するフレームワークgradSimを提案。3D教師信号なしで視覚運動制御タスクの学習も可能にする。
- DRACO: 弱教師ありによる物体形状の高密度再構成と正規化3D再構成2020/11/1
カメラ姿勢とセマンティックキーポイントのみの弱教師あり学習で、RGB画像から物体のスケール・回転・並進を正規化した高密度3D形状を推定する手法。
- MonoLayout: 単一画像からのアモーダルシーンレイアウト推定自動運転/鳥瞰図推定2020/2/1
走行中の1枚のカラー画像から、遮蔽部分も補完した道路と交通参加者の鳥瞰図レイアウトをリアルタイムに推定する深層学習手法を提案した論文。
- 動的環境における多物体単眼SLAMSLAM2020/2/1
単眼カメラから動く物体と自己位置をメートルスケールで同時推定するマルチボディSLAMを、単視点計測と深層学習による形状推定、多ポーズグラフ最適化で実現した。
- Kaolin: 3D深層学習研究を加速するPyTorchライブラリ3D深層学習ライブラリ2019/11/1
3Dデータの読み込み・前処理、メッシュや点群・SDF・ボクセル操作、微分可能なレンダリングや損失関数、モデルズーをまとめたPyTorch製3D深層学習ライブラリを提案。
- gradSLAM:自動微分可能なSLAMSLAM2019/10/1
密なSLAMの各構成要素を微分可能な計算グラフとして再定式化し、3Dマップから2Dピクセルまで誤差逆伝播できるようにした手法を提案した論文。
