Kris Kitani
収録論文 44本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 接地反力慣性ポーザー：スパースIMUとインソール圧力センサによる物理ベースの人間動作キャプチャ動作キャプチャ2026/3/1
IMUと足裏圧力センサを組み合わせ、物理シミュレータ上のデジタルツインを制御して物理的に妥当な全身動作を再構成する手法GRIPを提案した。
- NovaPlan: 閉ループ動画言語計画によるゼロショット長期的マニピュレーションマニピュレーション2026/2/1
VLMと動画生成を組み合わせ、生成動画から物体キーポイントと人間の手の姿勢を抽出してロボット動作に変換する階層的フレームワークを提案。訓練や実演なしで長期的な組立作業やエラー回復を実現した。
- BFM-Zero: 教師なし強化学習によるヒューマノイド制御のためのプロンプト可能な行動基盤モデルヒューマノイド制御2025/11/1
教師なし強化学習とForward-Backward表現を用いて、運動・目標・報酬を共通の潜在空間に埋め込み、再学習なしに多様な全身タスクを実行できるヒューマノイド制御の基盤モデルを提案し、実機Unitree G1でゼロショット運動追従や目標到達を実現した。
- 視覚強化学習から創発するシミュレーション人型ロボットの能動的知覚と器用さVLA2025/5/1
自己中心視覚のみを入力とする強化学習フレームワークPDCを提案し、シミュレーション人型ロボットが物体探索・把持・配置・関節物体操作などの家事タスクを単一ポリシーで遂行できることを示した。
- ZeroGrasp: ゼロショット形状復元によるロボット把持マニピュレーション2025/4/1
遮蔽推論と物体間の空間関係を活用し、3D復元と把持姿勢予測を同時に行うフレームワークを提案。大規模合成データセットで学習し、実世界の新規物体にも汎化する。
- ASAP: シミュレーションと実世界物理の整合による俊敏なヒューマノイド全身スキルの学習sim2real2025/2/1
シミュレーションと実世界のダイナミクス差を補正する残差行動モデルを実機データから学習し、事前学習済みの運動追従方策を微調整することで、ヒューマノイドの俊敏な全身動作を実現する二段階フレームワークを提案した。
- Omnigrasp: シミュレーションされたヒューマノイドによる多様な物体の把持マニピュレーション2024/7/1
シミュレーション上のヒューマノイドが1200以上の多様な物体を把持し、ランダムな軌道に沿って運搬できる制御器を学習した研究。
- JaywalkerVR: 安全上重要な歩行者-車両インタラクションを収集するVRシステム自動運転/データ収集2024/7/1
VRで歩行者が危険な状況に飛び出すロングテールな歩行者-車両インタラクションを安全かつ低コストで収集し、自動運転モデルの精度と堅牢性を向上させるデータセットCARLA-VRを構築した。
- DegustaBot: 個人の好みに基づくマルチオブジェクト再配置のためのゼロショット視覚嗜好推定マニピュレーション2024/7/1
視覚言語基盤モデルとゼロショット視覚プロンプトを用いて、家庭内の物体再配置タスクを個人の視覚的嗜好に合わせて解く手法を提案し、シミュレーションで評価した。
- SMPLOlympics：物理シミュレーションされたヒューマノイドのためのスポーツ環境ヒューマノイド制御2024/7/1
人間の動作データと互換性のあるヒューマノイドモデルを用いて、ゴルフやテニスなど多様なオリンピック競技を物理シミュレーションで再現する環境群を構築し、強力な動作事前分布と単純な報酬の組み合わせで人間らしいスポーツ行動が学習できることを示した。
- OmniH2O：汎用的で器用な人間からヒューマノイドへの全身遠隔操作と学習遠隔操作2024/6/1
VR・音声・RGBカメラなど多様な入力で人間がヒューマノイド全身を遠隔操作できる学習ベースのシステムを構築し、実世界でのスポーツや物体操作を実現した。
- 人間とエージェントの協調における高速オンライン適応のための線形モデルのブートストラップ人間エージェント協調2024/4/1
大規模非線形モデルで低容量のロジスティック回帰モデルを初期化し、協調中のオンライン更新を高速化する手法BLR-HACを提案。シミュレーションの物体再配置タスクで、少ない計算量で大規模モデル並みの性能を実現した。
- 人間からヒューマノイドへのリアルタイム全身テレオペレーションの学習テレオペレーション2024/3/1
RGBカメラ1台で人間の動きを捉え、強化学習で訓練した全身運動模倣器により、等身大ヒューマノイドをリアルタイムで遠隔操作するフレームワークH2Oを提案した。
- ヘッドマウントセンサからのリアルタイムシミュレーテッドアバターアバター制御2024/3/1
AR/VRヘッドセットのカメラと姿勢情報から、物理シミュレーション上のヒューマノイドアバターをリアルタイムに制御する手法を提案。大規模合成データセットで学習し、実世界のキャプチャでも動作を実証した。
- 物理ベース制御のための汎用人型動作表現ヒューマノイド制御2023/10/1
大規模な動作データから人型ロボットの多様な運動スキルを潜在空間に蒸留し、階層型強化学習で人間らしい動作を生成・追従できる汎用動作表現を提案した。
- 軌道予測における連携指標の重要性：より良い評価基準の提案軌道予測2023/5/1
複数エージェントの軌道予測において、従来の単一エージェント指標ではなく連携指標（JADE, JFDE, 衝突率）で評価することの重要性を示し、連携指標を組み込んだ損失関数を提案して性能を改善した。
- リアルタイムシミュレーションアバターのための永続的人型制御ヒューマノイド制御2023/5/1
ノイズの多い入力や転倒時でも高精度な動作模倣と復帰を実現する物理ベース人型コントローラを提案し、大規模動作データから効率的に学習する漸進的乗算制御方策を導入した。
- Trace and Pace: 誘導拡散による制御可能な歩行者アニメーション歩行2023/4/4
誘導拡散モデルで歩行者の軌道を生成し、物理ベースのヒューマノイド制御と組み合わせて、目標地点や速度、群集を考慮した全身アニメーションを実現した研究。
- 深層慣性測位のための学習可能な時空間マップ埋め込み屋内測位2022/11/1
屋内測位において、学習した空間マップ埋め込みと時間的オドメトリ埋め込みを組み合わせることで、ユーザーの取り得る位置のデータ駆動型事前分布を構築し、慣性のみの測位精度を49%向上させた。
- 時が明かす：時間的多視点3D物体検出の新たな展望とベースライン3D物体検出2022/10/1
長期履歴の画像からコストボリュームを生成し、短期の細粒度マッチングと組み合わせることで、時間的多視点3D物体検出の精度を大幅に向上させた研究。
- 動的カメラ映像からの遮蔽に強いグローバル人体メッシュ復元人体メッシュ復元2021/12/1
動的カメラの単眼動画から、長時間の遮蔽やフレーム外に出た人体も追跡しつつ、一貫したグローバル座標で人体メッシュを復元する手法を提案した論文。
- Transform2Act：効率的なエージェント設計のための変形・制御ポリシーの学習エージェント設計2021/10/1
エージェントの骨格構造と関節属性の設計を意思決定プロセスに組み込み、グラフベースのポリシーで設計と制御を同時最適化する手法を提案。キリンやイカ、クモに似た設計を自動発見できることを示した。
- 3D物体検出のためのマルチモーダルタスクカスケード3D物体検出2021/7/1
3Dボックス提案で2Dセグメンテーションを改善し、その結果で3Dボックスを再精緻化するカスケードネットワークを提案。SUN RGB-Dで+3.8 mAP@0.5の改善を達成。
- ダイナミクス制御による自己中心視点ポーズ推定ポーズ推定2021/6/1
ウェアラブルカメラ映像から、運動学モデルと物理シミュレーション上のダイナミクスモデルを組み合わせ、物体との物理的に整合する3D人間ポーズを推定する手法を提案した。
- DeepBLE：異なる端末間で汎化するRSSIベースの屋内位置推定屋内位置推定2021/3/1
BLEビーコンのRSSIからスマホの屋内位置を推定する深層リカレントネットワークDeepBLEを提案し、統計的類似度損失による半教師あり学習で未知のスマホ機種にも汎化できるようにした。
- AgentFormer: エージェント認識型Transformerによる時空間マルチエージェント予測軌跡予測2021/3/1
複数エージェントの軌跡予測において、時間軸と社会的相互作用を別々に扱う従来手法の情報損失を避けるため、両者を統合的にモデル化するエージェント認識型アテンションを持つTransformerを提案した論文。
- スマホIMUによる歩行者測位のための姿勢推定と位置推定の2段階パイプライン慣性測位2021/2/1
スマートフォンのIMUデータから、まずRNNと拡張カルマンフィルタで端末姿勢を高精度に推定し、その姿勢で補正した計測値を別のRNNに入力して歩行者位置を推定する2段階手法を提案し、大規模データセットで従来法を上回る精度を示した。
- AutoSelect: 3D多物体追跡のための自動・動的検出選択3D多物体追跡2020/12/1
追跡対象の検出を自動的に選別し、フレームや物体ごとに閾値を動的に調整することで、手動の閾値探索を不要にしつつ3D多物体追跡の精度を向上させた研究。
- 3D多物体追跡と軌道予測のエンドツーエンド統合3D追跡・軌道予測2020/8/1
GNNによるエージェント間相互作用のモデリングと多様性サンプリングを組み込み、3D多物体追跡と軌道予測を単一フレームワークで統合した研究。KITTIで最先端性能を達成。
- AB3DMOT：3D多物体追跡のベースラインと新評価指標3D多物体追跡2020/8/1
LiDAR点群から得た3D検出に対し3Dカルマンフィルタとハンガリアン法を組み合わせたシンプルなリアルタイム3D多物体追跡システムを提案し、KITTIで207.4FPSを達成。さらに3D MOT評価ツールと3つの新指標を提案した。
- グラフニューラルネットワークによる3D多物体追跡3D多物体追跡2020/8/1
物体間の特徴相互作用をGNNでモデル化し、2Dと3D空間から外観・運動特徴を統合的に学習する特徴抽出器を提案して、3D多物体追跡の精度を向上させた論文。
- 初対面の待ち合わせ：慣性センサと視覚による人物位置推定人物位置推定2020/6/1
ウェアラブルIMUの3D慣性データと映像の動きを対照学習で対応付け、群衆の中から対象人物を視覚的に特定する手法を提案し、6万以上の動画データで80.7%の精度を達成した。
- 残差力制御による俊敏な人間動作の模倣と拡張動作生成動作模倣2020/6/1
人形モデルと実人間の力学的不一致を補うため、行動空間に外部の残差力を加える残差力制御(RFC)を提案し、バレエのような俊敏な動作の模倣や無限horizonの多様な動作生成を実現した論文。
- グラフニューラルネットワークによる物体検出と多物体追跡の統合多物体追跡2020/6/1
物体検出とデータ連携をGNNで同時に最適化する統合型多物体追跡手法を提案し、MOTベンチマークで最先端性能を達成した。
- グラフニューラルネットワークと多様性サンプリングによる並列追跡・予測追跡・予測2020/3/1
マルチエージェント追跡と軌道予測をGNNで統合し、逐次処理ではなく並列に行うことで誤差伝播を抑え、多様性サンプリングで予測軌道の品質と多様性を向上させた研究。
- 光学的非視野イメージングによる物理ベース3D人体姿勢推定非視野イメージング2020/3/1
壁の角越しに取得した光子の時空間データから、深層強化学習と物理シミュレータを組み合わせて物理的に妥当な3D人体姿勢を推定する手法を提案した。
- 点群予測を先に行う新パイプラインSPF2：ラベル不要で未来の物体姿勢を推定点群予測2020/3/1
物体検出・追跡を先に行う従来の姿勢予測を逆転し、まず3D点群の時系列を予測してから検出・追跡する手法SPFNetを提案。ラベル不要でスケールしやすく、ロボット操作や自動運転データで有効性を示した。
- 決定点過程を用いた多様な軌道予測軌道予測2019/7/1
歩行者などの将来軌道を多様かつ尤もらしく予測するため、決定点過程(DPP)に基づく多様性損失で多様性サンプリング関数を学習する手法を提案した。
- 古典的手法によるリアルタイム3D多物体追跡と新評価指標の提案3D多物体追跡2019/7/1
LiDAR検出に3Dカルマンフィルタとハンガリアン法を組み合わせたシンプルなリアルタイム3D多物体追跡システムを構築し、新たな3D評価ツールと指標を提案した。
- RGBDセンシングによる意味セグメンテーションのための逐次的クラス発見意味セグメンテーション2019/7/1
RGBDフレームを色と幾何情報で分割し3Dマップ上で一貫領域を統合することで、未知の物体クラスを逐次的に発見・学習するオープンワールド意味セグメンテーション手法を提案した。
- 一人称視点の姿勢推定と予測をリアルタイムPD制御で実現姿勢推定2019/6/1
一人称動画から強化学習でPD制御ポリシーを学習し、3D人体姿勢の推定と物理的に妥当な未来動作の予測をリアルタイム(30FPS)で行う手法を提案した。
- 目標条件付きマルチエージェント軌道予測モデルPRECOG軌道予測2019/5/1
自動運転車の目標を与えることで他車両の将来軌道を確率的に予測するモデルを提案し、実データとシミュレーションで従来手法より高精度な多エージェント予測を実現した。
- HARMONIC：支援型人ロボット協調のマルチモーダルデータセット共有自律/マルチモーダル2018/7/1
6自由度ロボットアームによる食事支援タスクで24人の参加者から視線・筋電・関節位置など多様なマルチモーダルデータを収集したデータセットを公開した。
- ユーザーごとに適応する視覚障害者向けナビ支援システムの個人化力学モデルアシスティブナビゲーション2018/4/1
視覚障害者向け音声・触覚ナビ支援において、ユーザーごとの移動特性に合わせて案内を個人化するモデルベース強化学習フレームワークを提案し、実データで長期行動予測精度と少データでの迅速な適応を実証した。
