Ivan Laptev
収録論文 37本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- iGPC：物体と相互作用するヒューマノイドのための生成的運動事前分布ヒューマノイド全身制御2026/10/6
大規模な人間の運動データから学習した生成的運動事前分布を活用し、ヒューマノイドが物体に手を伸ばす・掴む・押すといった全身相互作用を知覚に基づいて行えるよう訓練するフレームワークを提案した。
- 3D人間動作生成のためのストリーミング・マルチトラック・タイムライン制御動作生成2026/10/2
歩きながら電話に出るなど、進行中の動作に新しい指示を重ねてリアルタイムに3D人間動作を生成する手法を提案し、重複する指示区間と身体部位注釈付きデータセットも構築した。
- 履歴行動軌跡からのスキル学習：世界行動モデルのための行動経験辞書VLA2026/9/30
過去の行動軌跡を共有埋め込みとして辞書化し、操作タスク間でスキルを再利用できるようにした世界行動モデルを提案。
- ロボット実行誤差下でのVLAの制御：自己補償とストレステストVLA2026/9/29
VLAポリシーがロボットの実行誤差をオンラインで自己補償する手法を提案し、シミュレーションベンチマークRoboStressと実機実験で有効性を示した。
- ロボットデータファクトリー：物理AIのための経験生成基盤データ基盤2026/9/15
ロボットの生データではなく物理的経験を継続的に生成・検証・再利用する基盤「Robot Data Factory」を提案し、その階層構造とスケーリング則を定式化した。
- ロボット学習と制御のための世界行動モデル：サーベイVLA2026/9/13
未来の世界予測と実行可能な行動生成を統合したWorld-Action Models（WAMs）について、ロボティクス視点で分類・応用・評価・課題を整理したサーベイ。
- UnfoldArt: テキストまたは画像からの完全な関節3Dオブジェクトのゼロショット復元3D再構成2026/6/29
テキストや画像から、関節構造と隠れた内部形状を含む完全な3Dオブジェクトを復元する、エージェントベースの新しい手法を提案。
- A1: 完全透過型オープンソースの適応的かつ効率的なトランケート型視覚言語行動モデルVLA2026/4/1
低コストで高スループットな推論を実現するため、事前学習済みVLMと適応的早期終了・層間トランケートフローマッチングを導入したVLAモデルA1を提案し、シミュレーションと実機でSOTA性能と推論コスト削減を達成した。
- PhysMoDPO: 選好最適化による物理的に妥当なヒューマノイド動作生成ヒューマノイド動作生成2026/3/1
全身制御器(WBC)を訓練に組み込み、拡散モデルが生成する動作を物理法則とテキスト指示の両方に適合させる選好最適化フレームワークを提案し、シミュレーションと実機G1ヒューマノイドで有効性を示した。
- Web動画からの暗黙的幾何表現を用いた視覚言語ナビゲーション視覚言語ナビゲーション2026/3/1
Web上の部屋ツアー動画から大規模な指示データを構築し、RGBフレームから直接空間情報を抽出する暗黙的幾何表現を導入することで、3D再構成に頼らずにVLNエージェントの学習を可能にした。複数のベンチマークで最先端性能を達成し、ゼロショットナビゲーションも実現した。
- ManipArena：推論指向の汎用ロボットマニピュレーションの実世界包括評価マニピュレーション2026/3/1
実機ロボットでのマニピュレーション汎化を公平に評価するため、20タスク・1万超の専門家軌道・約188時間分のデータを備えた標準化ベンチマークを構築し、VLAやワールドアクションモデルなど7構成を比較した。
- MessyKitchens: 接触リッチなオブジェクトレベルの3Dシーン再構成3Dシーン再構成2026/3/1
散らかった実世界のキッチンシーンを対象に、物体の形状・姿勢・接触を高精度に再構成する新しいデータセットと、複数物体を同時に再構成する手法を提案した論文。
- 観察対象の選択：視覚運動ポリシーのためのタスク認識型意味幾何表現視覚運動ポリシー2026/3/1
RGB画像とタスク関連エンティティの指定から、対象物とロボットをセグメント化し、意味色と深度情報を統合した標準的な3チャンネル画像表現を構築する観察インターフェースを提案。外観変化に対するロバスト性を向上させる。
- GLaD: 視覚言語行動モデルのための幾何潜在蒸留VLA2025/12/1
3D幾何情報を知識蒸留でVLAモデルに組み込み、深度センサーや3D注釈なしで空間推論と操作性能を向上させた手法。
- PixelVLA：視覚言語行動モデルにおけるピクセルレベル理解の推進VLA2025/11/1
ピクセル単位のシーン理解とテキスト・画像のマルチモーダル指示に対応したVLAモデルを提案し、大規模ピクセル注釈データセットで学習することで、低コストながら操作成功率を大幅に向上させた。
- BLAZER: ゼロショットデータ生成によるLLMベース操作エージェントのブートストラップマニピュレーション2025/10/1
LLMプランナーでシミュレーション内の操作デモを自動生成し、成功例でLLMを微調整することで、人手なしに操作スキルを獲得・転移させるフレームワークを提案。
- 基盤モデルは段階的な身体性推論においてどれほど優れているか？VLA2025/9/1
身体性環境での段階的推論能力を評価するFoMERベンチマークを提案し、主要な大規模マルチモーダルモデルの性能と限界を分析した。
- PhyBlock: 3Dブロック組み立てによる物理理解と計画の段階的ベンチマークベンチマーク/VLA2025/6/1
視覚言語モデルの物理理解と計画能力を評価するため、4段階の認知階層を持つ3Dブロック組み立てタスクとVQAを組み合わせたベンチマークを提案し、21モデルを評価した。
- DriveLMM-o1: 自動運転シナリオ理解のための段階的推論データセットと大規模マルチモーダルモデルVLA2025/3/1
自動運転の知覚・予測・計画を段階的に推論するVQAデータセット(学習18k・テスト4k超)とベンチマークを構築し、そのデータで微調整した大規模マルチモーダルモデルを提案した論文。
- RoomTour3D: 幾何情報を活用した動画指示チューニングによる身体性ナビゲーションナビゲーション2024/12/1
Web上のルームツアー動画から3D再構成を行い、歩行軌跡と指示文を付与した大規模データセットRoomTour3Dを構築し、VLNタスクの性能を大幅に改善した。
- MALMM: ゼロショットロボットマニピュレーションのためのマルチエージェント大規模言語モデルマニピュレーション2024/11/1
複数のLLMエージェントに高レベル計画と低レベル制御コード生成を分担させ、環境観察に基づく動的な再計画を行うことで、事前学習済みスキルや例示なしにロボット操作タスクをゼロショットで解くフレームワークを提案。
- 効率的な接触計画のための実行可能遷移の学習歩行2024/7/1
四足歩行ロボットが飛び石のような厳しい環境を移動するため、接触遷移の動的実行可能性を学習し、モンテカルロ木探索による接触計画を高速化・高精度化した。
- ViViDex: 人間の動画から視覚ベースの巧みなマニピュレーションを学習マニピュレーション2024/4/1
人間の動画から強化学習で物理的に妥当な軌道を生成し、それを用いて特権情報なしの統一的な視覚ポリシーを学習するフレームワークViViDexを提案。
- PolarNet: 言語誘導型ロボットマニピュレーションのための3D点群マニピュレーション2023/9/1
言語指示に基づくロボット操作のため、2D画像ではなく3D点群を入力とする方策PolarNetを提案し、RLBenchで既存手法を上回る性能と実機での有効性を示した。
- 再帰的暗黙マップによる物体目標ナビゲーション物体目標ナビゲーション2023/8/1
Transformerで暗黙的な空間マップを逐次更新し、物体カテゴリの位置へナビゲートする手法を提案。MP3DとHM3Dで高性能を示し、実機でも動作。
- ロボットマニピュレーションのための堅牢な視覚的Sim-to-Real転移sim2real2023/7/1
シミュレーションで視覚運動方策を学習する際、ドメインランダム化のパラメータをオフラインのキューブ位置推定タスクで最適化し、実機の多様なマニピュレーションタスクで平均93%の成功率を達成した。
- 未見のマニピュレーションタスクに対する動画条件付き方策の学習マニピュレーション2023/5/1
人間のデモ動画を共通の動画埋め込み空間でロボット動画に変換し、それを条件としてロボットのマニピュレーション方策を学習する手法ViPを提案。未見タスクをゼロショットで実行できる。
- ロボティクスにおける接触モデル：比較分析接触モデル2023/4/1
ロボットシミュレータで使われる接触モデルと数値解法を比較し、物理的・計算的側面を評価するベンチマークを提案したサーベイ論文。
- 軌道最適化と方策学習の合意形成による高精度ロボット制御軌道最適化×強化学習2022/9/1
軌道最適化の感度情報をSobolev学習で活用し、拡張ラグランジュ法で方策学習との一致を促すことで、ロボット制御のグローバル方策をより速く学習する手法を提案した。
- 指示駆動型の履歴考慮ロボットマニピュレーションポリシーマニピュレーション2022/9/1
自然言語指示と多視点観測、行動履歴を統合するTransformerベースのポリシーを提案し、RLBenchの74タスクと実機で高性能と未知タスクへの汎化を示した。
- ランダム化平滑化による微分可能物理の拡張sim2real2022/6/1
微分可能物理の勾配が不連続・非凸な場合に、ランダム化平滑化で近傍勾配を推定し最適化を改善する手法を提案。メッシュ再構成や接触・摩擦を含むロボット制御で有効性を示した。
- ランダム化平滑化による非平滑力学系の最適制御最適制御2022/3/1
ランダム化平滑化を用いて非平滑な力学系でもDDPを適用可能にし、摩擦や接触を含むロボット問題を少ないサンプルで解くR-DDPを提案した論文。
- 想像上のサブゴールを用いた目標条件付き強化学習強化学習2021/7/1
高レベル方策が目標への中間状態を想像して事前方策を定義し、KL制約付き方策反復に組み込むことで、長期的推論を要する複雑なロボットナビゲーション・操作タスクの学習を効率化した研究。
- 実動画からの近似状態推定による物体操作スキルの学習模倣学習2020/11/1
2D視覚認識と微分可能レンダリングを用いて動画から手と物体の粗い3D状態を教師なしで推定し、その軌道を強化学習の報酬として物体操作スキルを学習、実機ロボットへ転移できることを示した。
- 障害物表現を学習するニューラル動作計画動作計画2020/8/1
PointNetベースの新しい障害物表現を提案し、障害物回避ポリシーと同時に学習することで、未知・動的環境でのセンサベース動作計画の精度と効率を大幅に改善した。
- 形状カテゴリの3D物体を組み立てる視覚ポリシーの学習組み立て/マニピュレーション2020/4/1
1つの見本と形状分類器から、同カテゴリの物体を様々な部品で組み立てる視覚ポリシーを学習し、実機で最大95%の成功率を達成した。
- モンテカルロ木探索による効率的な視覚誘導型再配置計画マニピュレーション2019/4/1
RGBカメラ画像から物体を目標配置へ動かす計画を、モンテカルロ木探索で効率的に生成し、合成データで学習した深層学習による物体位置推定と組み合わせたパイプラインを提案した。
