Jinwoo Shin
KAIST
収録論文 28本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 人間のデモをロボットVLAポリシーへ橋渡しする共同学習フレームワークVLA2026/11/3
人間とロボットの非ペアデモから、表現と行動空間の両面で身体性ギャップを橋渡しし、事前学習済みVLAポリシーを適応させるH2RBを提案した。実世界タスクで物体・スキル転移性能を大幅に向上させた。
- RoboTryOn: バーチャル試着で人間動画から器用なロボット実演を合成sim2real2026/11/3
人間の動画をバーチャル試着のようにロボットへ置き換え、対象物や背景を保ったまま高自由度ロボットの実演データを生成する手法。合成データのみで両手操作などの新規タスク成功率を2%から60%へ向上させた。
- 動きに着目した非対称予測で動画モデルをロボット制御に適応させる手法VLA2026/10/27
動画生成モデルをロボット制御に転用する際、動きのある領域に重点的に視覚予測の学習を割り当てるMoGAPを提案し、操作タスクの成功率を向上させた。
- 未来映像表現の自己蒸留によるワールドアクションモデルVLA2026/10/21
ビデオ拡散モデルの中間表現を1ステップで高品質化する自己蒸留フレームワークFREDを提案し、実世界マニピュレーションで長期的・未知環境タスクの成功率を大幅に向上させた。
- 点軌跡予測による4次元世界の学習世界モデル2026/10/20
多視点動画と言語指示から将来の動画とシーン点の3D軌跡を同時予測する世界モデルVPMを提案し、ロボット制御にも応用した研究。
- PaceVLA:視覚言語行動モデルにおける適応的時間行動量子化VLA2026/10/19
VLAモデルの実行効率を高めるため、複数の時間粒度の行動デコーダと、粗い実行が適切かを判断するルータを組み合わせ、精度を保ちつつ高速化する枠組みを提案した論文。
- スカラー随伴マッチングによるQ学習強化学習2026/10/7
フローポリシーのファインチューニングにおいて、各ステップのヤコビアン計算を不要にするスカラー随伴を提案し、OGBenchの難タスクで成功率を大幅に改善した。
- RLHND: 動画基盤モデルを物理的に接地したハンドトラッカーとしてロボット学習に活用ロボット学習2026/10/7
単眼エゴセントリック動画から手の姿勢と接触・力の触覚情報を同時推定する動画基盤モデルベースのハンドトラッカーを提案し、ロボット方策学習のための人間動画活用を促進する。
- PointWAM: 3D世界行動モデリングによる器用なロボットマニピュレーションマニピュレーション2026/10/2
世界をシーンと手に分解し、両者を3D点軌跡として予測することで、人間の動画から事前学習し器用な操作を実現する手法を提案。
- 器用なポイントポリシー:人間のデモから学習するポイントベースの器用な手のポリシー模倣学習/操作2026/6/9
人間のビデオから直接、器用な操作ポリシーを学習するフレームワークを提案。3Dキーポイント表現で人間とロボットの身体性のギャップを埋め、ロボットデモなしで実ロボットタスクを高い成功率で達成。
- Pose6DAug: 物理的に妥当な多視点物体交換によるロボットデータ拡張データ拡張2026/6/1
ロボットの失敗事例に対して、成功エピソードの物体だけを3Dで交換してデータ拡張する手法を提案し、新規物体での成功率を向上させた。
- 信頼領域Q-随伴マッチング強化学習2026/5/1
事前学習済みフローポリシーのオフポリシー強化学習を安定化するため、経路空間KLを信頼領域パラメータで制御するTRQAMを提案し、50のOGBenchタスクで既存手法を上回る性能を達成した。
- RLDX-1 技術報告書VLA/操作2026/5/1
多機能な汎用ロボットポリシーRLDX-1を提案し、マルチストリームアクショントランスフォーマーにより多様なモダリティを統合して、器用な操作タスクで既存のVLAモデルを上回る性能を示した。
- 視覚言語行動モデルへの物理フィードバック統合のためのモジュール型感覚ストリームVLA/触覚/マニピュレーション2026/4/1
視覚言語行動モデル(VLA)に触覚やトルクなどの複数の物理センサ信号を統合するモジュール型フレームワークを提案し、実世界実験で性能向上を実証した。
- RoboCurate: 行動検証済みニューラル軌道による多様性を活かしたロボット学習sim2real2026/2/1
生成ビデオから得たロボット行動をシミュレータで再生し、映像との動きの一致度で品質を評価・選別する合成データ生成フレームワークを提案。実データのみの場合と比べ成功率を大幅に改善した。
- 成功・失敗デモンストレーションを活用した階層型視覚言語行動モデルVLA2025/12/1
失敗デモも学習信号として活用し、高レベル推論と低レベル制御を分離した階層型VLAモデルVINEを提案。計画時に失敗を考慮した探索を行うことでマニピュレーションの成功率とロバスト性を向上させた。
- ContextVLA:マルチフレーム文脈を効率的に活用する視覚-言語-行動モデルVLA2025/10/1
過去の観測を1つの文脈トークンに圧縮することで、計算コストを抑えつつマルチフレームの時間的文脈を活用してロボットタスクの成功率を高めるVLAモデルを提案。
- 視覚言語行動モデルのための対照表現正則化VLA2025/10/1
VLAモデルの表現をロボットの固有感覚状態と対照学習で整合させ、実機マニピュレーションの成功率を向上させた研究。
- 世界モデル拡張VLAのためのデュアルストリーム拡散VLA2025/10/1
視覚・言語・行動モデルに世界モデルを組み合わせ、状態と行動を別ストリームで拡散生成するDUSTを提案し、シミュレーションと実機で性能向上を実証した。
- 検証器不要のテスト時サンプリングによる視覚-言語-行動モデルVLA2025/10/1
VLAモデルが追加学習や外部検証器なしに、内部のマスキング分布を利用してテスト時に複数候補から最適な行動を選択する手法を提案。
- HAMLET: 視覚言語行動モデルを履歴認識ポリシーに切り替えるVLA2025/10/1
各時刻の知覚情報を圧縮したモーメントトークンと軽量メモリモジュールで過去の文脈を統合し、VLAモデルを履歴依存タスクに適応させるフレームワークを提案。
- Robot-R1: ロボティクスにおける身体性推論を強化する強化学習VLA2025/6/1
強化学習を用いてロボット制御のための身体性推論を改善するフレームワークを提案し、SFTを上回る性能を達成した。
- セグメント化されたデモンストレーションからのサブタスク認識型視覚報酬学習報酬学習2025/2/1
アクションなしの動画デモをサブタスクに分割し、その区間を正解報酬として密な報酬関数を学習するREDSを提案。複雑な操作タスクでベースラインを大きく上回り、未知タスクや異なるロボットへの汎化も示した。
- 確率的フレーム予測による視覚表現学習表現学習2024/6/1
将来フレーム予測の不確実性を確率的にモデル化し、マスク画像モデリングと組み合わせて動画やロボット学習に有効な視覚表現を学習する手法を提案した。
- 適応的マルチモーダル報酬でエージェントを導く模倣学習2023/9/1
視覚観測と言語指示の類似度をCLIP空間で報酬として計算し、リターン条件付き方策を訓練することで、未知の指示への汎化性能を高める手法を提案。
- 選好トランスフォーマー:人間の選好をトランスフォーマーでモデル化する強化学習強化学習2023/3/1
人間の選好に基づく強化学習において、非マルコフ的報酬の重み付き和として選好をモデル化するトランスフォーマーアーキテクチャを提案し、実人間の選好を用いた制御タスクで従来法を上回る性能を示した。
- マルチビュー・マスク付きワールドモデルによる視覚的ロボットマニピュレーションマニピュレーション2023/2/1
複数視点の映像からマスク付きオートエンコーダで表現を学習し、その表現上でワールドモデルを構築することで、視覚的ロボット操作を効率的に行う手法を提案した論文。
- バランスリプレイと悲観的Qアンサンブルによるオフラインからオンラインへの強化学習オフライン→オンラインRL2021/7/1
オフライン強化学習で得た方策をオンライン微調整する際の分布シフトによる誤差を、オンライン優先とオフライン近傍サンプルを併用するバランスリプレイと悲観的Qアンサンブルで抑え、歩行・操作タスクでの効率と性能を向上させた論文。
