Sergey Zakharov
Toyota Research Institute
収録論文 33本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 接触の多い操作では手首カメラの代わりに触覚センサーが有効触覚2026/11/7
手首カメラの代わりに指装着型の低コスト触覚アレイを用い、視覚触覚ポリシーで接触の多い操作や遮蔽された操作の成功率を大幅に改善できることを実機6タスクで示した。
- 3D粒子運動として世界をモデル化する生成型ワールドモデルワールドモデル2026/11/5
3Dシーンの時間発展を粒子・剛体の運動生成として直接予測するトランスフォーマ型ワールドモデルGPWMを提案し、剛体・変形・布・粒状体を単一アーキテクチャで扱い、接触を伴う計画にも応用した。
- KiRoSe: ロボット実演の効率的なセグメンテーションのための運動学データ活用セグメンテーション2026/10/22
ロボット実演の運動学データを離散的な『スパース動作トークン』に変換し、言語モデルで解釈することで、実演の時系列・意味的セグメンテーションを自動化するフレームワークを提案。
- MobileVISTA: 移動マニピュレーションにおける姿勢汎化のための生成データ拡張移動マニピュレーション2026/10/5
単一姿勢の実演データから、視覚観測の拡張と動作の再ターゲティングを組み合わせて姿勢摂動に頑健な訓練データを生成し、ヒューマノイドや双腕ロボットの移動マニピュレーションの汎化性能を向上させるフレームワーク。
- BIND: 3Dロボット動作を2D画像特徴に結びつける新表現VLA2026/9/29
カメラ幾何学を用いて3D動作候補を各視点の2D画像特徴に投影・スコアリングすることで、データ効率と視点・物体位置の変化への頑健性を高めた視覚運動ポリシーを提案。
- H2RBench:人間からロボットへの転移を評価するReal-to-Simベンチマークsim2real2026/9/21
人間の動画デモからロボット操作を学習するH2R転移手法を公平に比較するため、実人間動画とシミュレーションロボット実演に基づく標準ベンチマークを構築し、複数手法の性能を体系的に評価した。
- DemoBridge: 単一視点の人間デモンストレーション再ターゲティングのためのシミュレーション・イン・ザ・ループ・ツールキットデモンストレーション学習/軌道生成2026/7/1
単一視点のRGBステレオ映像から人間の手のデモンストレーションを取得し、物理検証済みのロボットアーム軌道に変換するツールキットを提案。衝突回避プランナーと物理シミュレータをループさせ、再プランニングにより実行可能な軌道を生成する。
- デュエット:効率的な教示による二台ロボットの協調理解群制御2026/6/1
二台のロボットが協調して作業するための学習フレームワークを提案。VR遠隔操作と人間同士の協調動作データを活用し、少ない実機データで高性能な協調ポリシーを学習する。
- デモから報酬へ:VLM報酬モデルのテスト時プロンプト最適化報酬学習/VLM2026/6/1
ロボットのデモンストレーション数本を用いて、VLM報酬モデルの言語指示をテスト時に最適化し、誤検出を減らして報酬精度を向上させる手法を提案した。追加学習や計算資源を必要とせず、シミュレーションと実機で有効性を実証した。
- 生成による再構築:スパース観測からの3D複数物体シーン再構築3D再構築2026/4/1
RGB-D画像のスパースな観測から、物体や部品の形状と姿勢を確率的に推定する生成フレームワークRecGenを提案し、複雑な遮蔽や対称物体に対応して高精度な再構築を実現した。
- SceneSmith: エージェントによるシミュレーション可能な屋内シーン生成sim2real2026/2/1
VLMエージェントが協調して自然言語から家具や小物まで揃った物理シミュレーション可能な屋内シーンを自動生成するフレームワーク。
- AnyView: 動的シーンにおける任意の新規視点を合成動的視点合成2026/1/1
拡散モデルベースの動画生成フレームワークで、動的な実世界シーンにおいて任意のカメラ視点からの時空間的に一貫した新規動画を生成する。
- PolaRiS: 汎用ロボットポリシーのためのスケーラブルな実世界→シミュレーション評価sim2real2025/12/1
実世界の短い動画スキャンからニューラル再構成で高忠実度なシミュレーション環境を構築し、汎用ロボットポリシーを実世界と強く相関する形で評価できるようにしたフレームワーク。
- Humanoid Everyday:オープンワールドヒューマノイド操作のための包括的ロボットデータセットヒューマノイド操作2025/10/1
ヒューマノイドロボットの器用な操作・人間とのインタラクション・移動を伴う動作を含む大規模マルチモーダルデータセットを構築し、クラウド評価基盤も提供した研究。
- あらゆる画像からのロボット学習sim2real2025/9/1
1枚の画像から物理シミュレーション可能なロボット環境を生成し、大規模な視覚運動デモンストレーションデータを自動収集するフレームワークRoLAを提案。
- OmniShape: 実世界におけるゼロショット多仮説形状・姿勢推定形状・姿勢推定2025/8/1
単一観測から未知物体の姿勢と完全形状を推定するため、形状補完を2つのマルチモーダル分布に分離し、条件付き拡散モデルで複数仮説を生成する手法を提案。
- マルチタスク巧みな操作のための大規模行動モデルの慎重な検証マニピュレーション2025/7/1
大規模行動モデル(LBM)をシミュレーションと実世界で厳密に評価し、マルチタスク事前学習が単一タスクより成功率・堅牢性・データ効率を高めることを統計的に示した。
- 後学習と推論時探索による操作可能なシーン生成シーン生成2025/5/1
拡散モデルで物体配置とSE(3)姿勢を生成し、強化学習による後学習や推論時探索で下流タスクに合わせてシーンを制御する手法を提案。
- GTR: 外観と幾何学的複雑さに基づく未知物体のガウシアンスプラッティング追跡と再構成3D再構成/物体追跡2025/5/1
単眼RGBD動画から未知物体の6自由度追跡と高品質な3D再構成を同時に行う手法を提案。3Dガウシアンスプラッティングと外観・形状のハイブリッド追跡、キーフレーム選択を組み合わせ、対称性や複雑な形状・外観を持つ物体でも頑健に動作する。
- ZeroGrasp: ゼロショット形状復元によるロボット把持マニピュレーション2025/4/1
遮蔽推論と物体間の空間関係を活用し、3D復元と把持姿勢予測を同時に行うフレームワークを提案。大規模合成データセットで学習し、実世界の新規物体にも汎化する。
- ゼロショット新規視点合成による視点不変な方策学習マニピュレーション2024/9/1
単一画像から新規視点を合成するモデルをデータ拡張に用い、単一視点の実演データから視点に頑健な操作方策を学習する手法を提案し、実機・シミュレーションで有効性を示した。
- 密なメトリック深度を組み込んだニューラル3D表現による視点合成と再照明ニューラルレンダリング2024/9/1
ロボット環境で撮影した少数視点の画像と密な深度情報をニューラル3D表現の学習に統合し、テクスチャと形状のエッジを区別することで高品質な視点合成と再照明を実現する手法を提案。
- DiffusionNOCS:Sim2Real多モーダルカテゴリレベル姿勢推定における対称性と不確実性の管理sim2real2024/2/1
拡散モデルを用いて密な正準マップを推定し、合成データのみの学習で対称物体や未知環境に対応するカテゴリレベル姿勢推定手法を提案。
- FSD: 高速自己教師あり単一RGB-Dからカテゴリカル3Dオブジェクトへ3D認識2023/10/1
単一のRGB-D画像から物体の3D形状・サイズ・6D姿勢をカテゴリレベルで予測する自己教師あり手法を提案し、合成データから実世界への効率的な転移を実現した。
- 物体中心ニューラル散乱関数によるマルチオブジェクト操作マニピュレーション2023/6/1
物体ごとの光の散乱を表すニューラル表現OSFをモデル予測制御に組み込み、複数物体の操作を照明条件が厳しく未知の環境でも高精度に実現した。
- Zero-1-to-3: 単一画像からゼロショットで3Dオブジェクトを生成3D生成2023/3/1
1枚のRGB画像からカメラ視点を変えた新規視点画像を生成し、単一画像からの3D再構成も可能にする拡散モデルベースのフレームワークを提案。
- CARTO: カテゴリと関節に依存しない多関節物体の再構成3D再構成2023/3/1
単一のステレオRGB画像から複数の多関節物体の3D形状・姿勢・関節状態を一度に推定する手法を提案。カテゴリ横断的な学習を可能にし、実世界への転移も実現した。
- ROAD: 暗黙的再帰オクツリー自動デコーダによる3D形状の効率的符号化3D形状表現2022/12/1
潜在空間で暗黙的オクツリーを再帰的に辿ることで、大規模な3D形状データセットを99%以上の圧縮率で高精度に再構成する手法を提案。
- フォトリアリスティック神経ドメインランダム化sim2real2022/10/1
ニューラルレンダリングを活用し、物理ベースのレイトレーシングを模倣するニューラルネットワーク群を学習することで、オンラインでフォトリアルな画像拡張を生成し、sim-to-realギャップを埋める手法を提案。
- ShAPO: 複数物体の形状・外観・姿勢を統合最適化する暗黙表現6D姿勢推定2022/7/1
単一のRGB-D画像から複数物体の検出・形状・外観・6D姿勢・サイズを同時推定する手法を提案し、NOCSデータセットで大幅な精度向上を達成した。
- 動的マージン付きトリプレット損失による3D物体インスタンス認識と姿勢推定物体認識・姿勢推定2019/4/1
畳み込みニューラルネットワークと動的マージンを導入したトリプレット損失を用いて、雑然とした環境中の物体の3Dインスタンス認識と姿勢推定を行う手法を提案し、学習高速化と精度向上を実現した。
- 自作RGB-Dデータセット:3D物体の6D姿勢推定のためのベンチマーク6D姿勢推定2019/4/1
6D姿勢推定の課題(3Dモデルからの学習、スケーラビリティ、遮蔽、照明変化など)に対応する33物体・13シーンのRGB-Dデータセットとベンチマークを提案した。
- DPOD: 高密度対応マップによる6D姿勢推定と精密化6D姿勢推定2019/2/1
RGB画像から物体の密な2D-3D対応マップを推定し、PnPとRANSACで6DoF姿勢を計算した後、深層学習ベースの精密化を行うリアルタイム可能な6D姿勢推定手法を提案した。
