Haoyu Zhao
DAMO Academy, Alibaba Group
収録論文 13本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 汎用潜在行動を条件とするクロスエンボディメント世界モデル世界モデル2026/10/27
人間動画・ロボット実演・シミュレーションを共通の3D潜在行動で条件付けし、異なる身体間で学習できる動画世界モデルを構築した。生成した疑似実演で実機ポリシーの成功率を向上させた。
- RynnVLA-Latent: 3D接地潜在行動でロボット操作基盤モデルをスケールするVLA2026/10/25
異種の動画から3Dに接地した連続潜在行動を学習し、それを用いてVLAモデルを事前学習することで、多様なロボット操作タスクで高い成功率を達成した研究。
- RynnUnify:統合型身体性ブレインへの挑戦VLA2026/10/23
動画と言語の交互推論で身体的理解と長期視覚計画を統合した16Bモデルを提案し、強化学習によるエージェント拡張とロボット制御への拡張も実現した。
- Memento 3: 反省的ルールブックによるモデルベースの再帰的自己改善VLA2026/10/8
凍結したLLMエージェントが自然言語のルールブックを外部記憶として保持し、観察・反省・ルール改訂・コード生成・検証のループを通じて世界モデルを継続的に学習・改善する手法を提案。ARC-AGI-3の全25公開ゲームをクリア。
- OpenViTac: 視覚触覚ポリシーを統一シミュレーション・実世界フレームワークで学習・評価する触覚2026/10/7
接触を伴う操作タスクを4つの触覚能力次元で整理し、シミュレーションと実世界のペア環境でVLA・WAM・VTLAポリシーを評価するベンチマークOpenViTacを提案し、触覚表現と統合手法の比較やsim-real共訓練の分析を行った。
- RynnWorld-4D: ロボット操作のための4D具現化ワールドモデルワールドモデル2026/7/1
RGB、深度、オプティカルフローを統合した4Dワールドモデルを提案し、将来のシーン変化を予測してロボット操作のポリシー学習を支援する。
- RynnWorld-Teleop: デジタル遠隔操作のための行動条件付きワールドモデルデータ生成2026/7/1
物理的な遠隔操作に代わり、生成ワールドモデルを用いてロボット中心の映像を合成し、実機不要で模倣学習用の軌道データを生成するデジタル遠隔操作パラダイムを提案した。
- RynnBrain 1.1:より高機能で汎用的な具現化基盤モデルを目指してVLA/基盤モデル2026/7/1
RynnBrain 1.1は、2Bから122B-A10Bまでの規模を持つ具現化基盤モデル群で、接触点予測や3Dグラウンディングを導入し、ロボット操作に直接対応する表現と出力を実現。実機実験では、Qwenベースや汎用VLAを上回る性能を示した。
- ガウススプラッティングによる実世界ゼロショットロボットマニピュレーション学習のための高忠実度シミュレーションデータ生成sim2real2025/10/1
実世界の多視点画像から3DGSとメッシュを組み合わせて物理的に操作可能な高忠実度シミュレーション環境を構築し、MLLMで物体の物理特性や関節構造を自動推定することで、シミュレーションのみで訓練した方策が実世界の多様なマニピュレーションタスクへゼロショット転移できることを示した。
- 人間らしい事前知識を活用したアフォーダンス認識型ロボット巧み把持マニピュレーション2025/8/1
人間の手の動きを模倣した事前学習と、機能的に不適切な接触領域を避けるアフォーダンス認識モジュールを組み合わせ、自然で汎用的な巧み把持を実現するフレームワークAffordDexを提案。
- TeleOpBench:双腕巧みなテレオペレーションのためのシミュレータ中心ベンチマークテレオペレーション2025/5/1
双腕巧みなテレオペレーションの4つの方式(モーションキャプチャ、VR、外骨格、単眼視覚追跡)を30の高忠実度タスクで公平に比較評価するシミュレータベンチマークを提案し、実機実験との相関を確認した。
- SMAP: 物理的に妥当なヒューマノイド全身制御のための自己教師あり動作適応全身制御2025/5/1
人間の動作データをベクトル量子化周期オートエンコーダで物理的に妥当なヒューマノイド動作へ適応させ、強化学習による全身模倣制御の安定性と学習効率を向上させるフレームワークを提案した。
- GaussianProperty: LMMを用いた3Dガウシアンへの物理特性の統合3D表現/物理特性推定2024/12/1
SAMとGPT-4Vを組み合わせて2D画像から物体の材質・物理特性を推定し、投票戦略で3Dガウシアンに付与することで、物理シミュレーションやロボット把持に応用可能にした学習不要のフレームワーク。
