Xin Li
DAMO Academy, Alibaba Group
収録論文 57本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- Flex-RSI:フロンティアエージェントの再帰的自己改善ベンチマークエージェント自己改善2026/11/6
エージェントが固定予算下で自身のハーネス(プロンプト・ツール・記憶・制御ループ)を改善し、視覚・ロボティクス課題の性能を再帰的に高められるかを評価するベンチマークを提案した。
- 汎用潜在行動を条件とするクロスエンボディメント世界モデル世界モデル2026/10/27
人間動画・ロボット実演・シミュレーションを共通の3D潜在行動で条件付けし、異なる身体間で学習できる動画世界モデルを構築した。生成した疑似実演で実機ポリシーの成功率を向上させた。
- RynnVLA-Latent: 3D接地潜在行動でロボット操作基盤モデルをスケールするVLA2026/10/25
異種の動画から3Dに接地した連続潜在行動を学習し、それを用いてVLAモデルを事前学習することで、多様なロボット操作タスクで高い成功率を達成した研究。
- RynnUnify:統合型身体性ブレインへの挑戦VLA2026/10/23
動画と言語の交互推論で身体的理解と長期視覚計画を統合した16Bモデルを提案し、強化学習によるエージェント拡張とロボット制御への拡張も実現した。
- モバイルマニピュレーションの突破口:失敗診断からエージェント型ロボットシステムへモバイルマニピュレーション2026/10/14
長期的なモバイルマニピュレーションの失敗を診断し、計画・ナビゲーション・操作の各段階に介入するエージェントシステムを開発。成功率を19%から49%に向上させた。
- 失敗から振り返る:身体性空間知能のための脳に着想を得た自己進化エージェントVLA2026/10/14
脳のメタ認知と海馬の記憶固定化に着想を得て、知覚・探索・計画の失敗を診断し再利用可能な戦略とスキルを抽出する自己進化エージェントHiMecoを提案し、身体性空間タスクのベンチマークで最高性能を達成した。
- タスク関連潜在ダイナミクスの分離による報酬モデリング報酬学習2026/10/9
動画からタスクに関連する潜在表現を分離し、その時間変化から密な報酬を学習する手法DiTaRを提案。ロボット操作タスクの政策学習を改善し、実世界オフラインRLにも転移可能。
- S4VY: フィードフォワード4D視覚幾何におけるセグメントエニシング4Dセグメンテーション2026/9/29
RGB観測からフィードフォワードな4D視覚幾何特徴を抽出し、時空間クエリデコーダで永続的な4Dインスタンスマスクを生成するセグメンテーションモデルを提案。言語指示に基づく4Dグラウンディングも可能。
- ForeTac-VLA: 接触の多いロボットマニピュレーションのための触覚予測に基づく視覚-言語-行動モデルVLA2026/9/17
未来の触覚状態を予測して行動生成を導く触覚・視覚・言語融合モデルを提案し、接触の多い実世界タスクで高い成功率を達成した。
- EMERGE-Policy: ロボットの心は単一ポリシーを超えて出現するVLA2026/8/30
複数の専門エージェントが協調して知覚・推論・検証・記憶を行うグラフ構造のエージェントフレームワークを提案し、追加のファインチューニングなしでベンチマークと実ロボット実験で高い性能を達成した。
- RynnValue: 時間的距離によるロボット価値基盤モデルのスケーリング価値基盤モデル2026/8/1
ロボット操作のための価値基盤モデルRynnValueを提案。時間的距離を報酬ラベルとして用いることで、大規模データから好みラベルなしで学習し、実世界の成功率を向上させた。
- RynnWorld-4D: ロボット操作のための4D具現化ワールドモデルワールドモデル2026/7/1
RGB、深度、オプティカルフローを統合した4Dワールドモデルを提案し、将来のシーン変化を予測してロボット操作のポリシー学習を支援する。
- VLA-Corrector: 適応アクションホライズンのための軽量検出・修正推論VLA/行動生成2026/7/1
VLA-Correctorは、アクションチャンク方式のVLAポリシーに軽量な視覚モニタとオンライン勾配ガイダンスを追加し、実行中のずれを検出して修正再計画を行うことで、閉ループ応答性を向上させる。
- ActFovea: 時空間的な視覚-行動整合性によるVLAポリシーの実行時保護VLA/安全制御2026/7/1
VLAポリシーを再学習せずに実行時の外乱を検出・緩和するプラグアンドプレイの保護フレームワークを提案。視覚と行動の整合性を監視し、回復不能な場合は安全に失敗させる。
- RynnBrain 1.1:より高機能で汎用的な具現化基盤モデルを目指してVLA/基盤モデル2026/7/1
RynnBrain 1.1は、2Bから122B-A10Bまでの規模を持つ具現化基盤モデル群で、接触点予測や3Dグラウンディングを導入し、ロボット操作に直接対応する表現と出力を実現。実機実験では、Qwenベースや汎用VLAを上回る性能を示した。
- RynnWorld-Teleop: デジタル遠隔操作のための行動条件付きワールドモデルデータ生成2026/7/1
物理的な遠隔操作に代わり、生成ワールドモデルを用いてロボット中心の映像を合成し、実機不要で模倣学習用の軌道データを生成するデジタル遠隔操作パラダイムを提案した。
- Goku: 命令ベース動画編集のための100万規模のユニバーサルデータセットとベンチマーク動画編集2026/6/29
複雑な編集指示に応えるため、200万ペアの大規模データセットと、マスク分岐と外観レンダリング分岐を分離したデュアルブランチモデルを構築し、新ベンチマークで性能を検証した論文。
- リー群埋め込みによるニューラルダイナミクスの計画:教師付き射影多様体学習を通じて制御/ロボティクス2026/5/24
リー群を多様体の対称性の内在表現として用い、勾配降下と計量射影に基づく学習アルゴリズムを開発し、一般のリー群上で学習可能かつ安定なダイナミクスを実現する。
- OmniLiDAR: マルチドメイン3D LiDAR生成のための統一拡散フレームワークLiDAR生成2026/5/1
異なるセンサー条件やプラットフォームにわたる8つのドメインでLiDARスキャンを生成する統一テキスト条件付き拡散モデルを提案し、ドメイン間の特徴シフトを扱う新しいトレーニング戦略と特徴変調を導入した。
- RynnBrain: オープンな身体性基盤モデルVLA2026/2/1
知覚・推論・計画を統合した時空間基盤モデルRynnBrainを提案し、2B/8B/30B-A3B MoEの3規模と下流タスク向け4変種を公開、20の身体性ベンチマークで既存モデルを大幅に上回った。
- Ori-Sense:ソフトロボティクス応用のための折り紙容量センシング触覚2026/2/1
逆Kresling折り紙構造を模した柔軟な容量センサを開発し、ねじり変形を容量変化に変換してソフトロボットの固有感覚フィードバックを可能にした。
- 非対称・連続動作を実現するスナッピングアクチュエータソフトロボティクス2026/2/1
偏心ドーム型のスナッピングアクチュエータを開発し、単一の圧力入力で4脚ロボットの波状歩行を実現した研究。
- 全身ロボット操作のための非同期Fast-Slow視覚言語行動ポリシーVLA2025/12/1
VLM推論と高速行動生成を非同期に分離し、潜在表現バッファと全身行動トークナイザで統合したVLAフレームワークを提案。3Bモデルで30Hzの全身行動生成を実現した。
- RynnVLA-002:視覚言語行動と世界モデルの統合VLA2025/11/1
視覚言語行動モデルと世界モデルを統合し、環境の物理を学習して行動生成を洗練させるフレームワークを提案。シミュレーションと実機で性能向上を実証。
- ガウススプラッティングによる実世界ゼロショットロボットマニピュレーション学習のための高忠実度シミュレーションデータ生成sim2real2025/10/1
実世界の多視点画像から3DGSとメッシュを組み合わせて物理的に操作可能な高忠実度シミュレーション環境を構築し、MLLMで物体の物理特性や関節構造を自動推定することで、シミュレーションのみで訓練した方策が実世界の多様なマニピュレーションタスクへゼロショット転移できることを示した。
- RynnVLA-001:人間のデモンストレーションを活用したロボットマニピュレーションの改善VLA2025/9/1
人間の操作動画で大規模に事前学習した視覚-言語-行動モデルを提案し、2段階の事前学習とActionVAEで行動予測を効率化してロボット操作性能を向上させた。
- Veila: 単眼RGB画像からのパノラマLiDAR生成LiDAR生成2025/8/1
単眼RGB画像を条件として、拡散モデルによりパノラマLiDAR点群を生成するフレームワークを提案。信頼度に基づく条件付けと幾何学的整合性により、RGBとLiDARのモダリティギャップを克服する。
- La La LiDAR: LiDARデータからの大規模レイアウト生成LiDAR生成2025/8/1
LiDARシーンの前景物体配置と空間関係を制御可能にする、シーングラフ誘導の生成フレームワークを提案し、大規模データセットと評価指標を導入した。
- RynnEC:MLLMを身体性認知の世界へVLA2025/8/1
汎用視覚言語モデルに領域エンコーダとマスクデコーダを組み込み、領域中心の動画理解で物体属性・セグメンテーション・空間推論を高精度化した身体性認知向けMLLMを提案。
- 人間らしい事前知識を活用したアフォーダンス認識型ロボット巧み把持マニピュレーション2025/8/1
人間の手の動きを模倣した事前学習と、機能的に不適切な接触領域を避けるアフォーダンス認識モジュールを組み合わせ、自然で汎用的な巧み把持を実現するフレームワークAffordDexを提案。
- WorldVLA:自己回帰型行動世界モデルへの挑戦VLA2025/6/1
視覚・言語・行動モデルと世界モデルを統合し、行動と画像の相互生成を通じて行動生成と将来画像予測を同時に改善する自己回帰型フレームワークを提案。
- メタオリガミ:非線形インフレータブルソフトアクチュエータのためのモノリシックメタオリガミソフトロボティクス2025/3/1
3Dプリント可能なメタマテリアルと折り紙を組み合わせ、非線形な空気圧応答を示すモノリシックなソフトアクチュエータを開発し、その設計ツールと動作を実証した。
- ECBench:マルチモーダル基盤モデルは自己中心的世界を理解できるか?包括的身体認知ベンチマークVLA2025/1/1
ロボットの自己認知や動的シーン知覚、幻覚といった身体認知能力を体系的に評価するため、30次元の認知軸を持つベンチマークECBenchと評価システムECEvaluを提案し、各種LVLMを評価した。
- UniAff:視覚言語モデルによる道具使用と関節物体操作のためのアフォーダンス統合表現マニピュレーション2024/9/1
道具と関節物体の操作を統一的に扱うため、アフォーダンス認識と3D運動制約の推論を視覚言語モデルで行う手法UniAffを提案し、シミュレーションと実世界で汎化性能を向上させた。
- ループクロージャを活用した堅牢なガウシアンスプラッティングSLAMSLAM2024/9/1
回転する複数のRGB-Dカメラ入力に対応したガウシアンスプラッティングSLAMを提案し、ループクロージャで追跡ドリフトを抑えて高精度な自己位置推定と写実的レンダリングを実現した。
- SKT: 状態認識キーポイント軌道と視覚言語モデルを統合したロボット衣類操作衣類操作/VLA2024/9/1
視覚言語モデル(VLM)を用いて、多様な衣類の状態を単一モデルで認識しキーポイントを予測することで、ロボットによる衣類操作を汎用的に実現する手法を提案した。大規模合成データで学習し、キーポイント検出精度とタスク成功率を向上させた。
- DriveArena: 自動運転のための閉ループ生成シミュレーションプラットフォーム自動運転シミュレーション2024/8/1
生成モデルで実写のような画像を作り出し、交通シミュレータと組み合わせて自動運転エージェントを閉ループで評価できる高忠実度シミュレーションシステムを構築した。
- スキル認識型相互情報量最適化による強化学習の汎化メタ強化学習2024/6/1
メタ強化学習において、スキルを区別する相互情報量目的関数SaMIとその推定器SaNCEを提案し、未見タスクへのゼロショット汎化とサンプル効率を改善した。
- 継続的に学習・適応・改善する:自動運転のための二重プロセスアプローチ自動運転2024/5/1
人間の認知プロセスに着想を得て、注意選択と二重プロセス意思決定(分析的推論とヒューリスティック処理)を組み合わせ、反省機構と記憶バンクで自己改善する自動運転フレームワークLeapADを提案。CARLAでの閉ループ評価でカメラ入力のみの手法を上回り、ラベルデータも大幅に削減できることを示した。
- 自己組織化マップとDubins経路生成による複数AUVの運動学的タスク割り当て群制御2024/5/1
複数AUVの運動学的制約下でのタスク割り当て問題に対し、改良SOMニューラルネットとDubins経路生成を組み合わせ、経路計画が失敗する場合に重みを変更して再割り当てする手法を提案した。
- ユニバーサルLiDARセグメンテーションに向けたマルチスペースアラインメントLiDARセグメンテーション2024/5/1
異なるセンサやシーンで収集された大規模運転データセットを統合し、データ・特徴・ラベル空間でのアラインメントを行うことで、単一パラメータでマルチタスク・マルチデータセット・マルチモダリティのLiDARセグメンテーションを実現するM3Netを提案。
- HDA-LVIO: ハイブリッドデータ関連付けによる都市環境向け高精度LiDAR-視覚-慣性オドメトリ自己位置推定2024/3/1
LiDAR-慣性子系と視覚-慣性子系を統合し、特徴点と平面投影点をハイブリッドに関連付けて再投影誤差を最小化することで、都市環境での自己位置推定精度を高める手法を提案した。
- 知識駆動型自動運転に向けて自動運転2023/12/1
データバイアスや長尾シナリオへの弱さ、解釈性の欠如といった従来の自動運転の課題に対し、大規模言語モデルや世界モデル、ニューラルレンダリングなどを用いた知識駆動型アプローチの研究動向を整理し、今後の方向性を示したサーベイ論文。
- GPT-4V(ision)と自動運転:視覚言語モデルの初期探索VLA2023/11/1
自動運転への視覚言語モデルGPT-4Vの応用可能性を評価し、シーン理解や因果推論で優れる一方、方向認識や信号認識に課題があることを示した。
- DiLu: 大規模言語モデルによる知識駆動型自動運転自動運転2023/9/1
大規模言語モデルに推論と内省のモジュールを組み合わせ、常識的知識に基づく意思決定と経験の蓄積を可能にする自動運転フレームワークDiLuを提案した。
- 人間のように運転する:大規模言語モデルによる自動運転の再考自動運転2023/7/1
大規模言語モデル(LLM)を自動運転に活用し、人間のように環境を理解し、推論・解釈・記憶する能力を検証した。閉ループシステムを構築し、長尾ケースへの対応可能性を示した。
- Robo3D: 自然な劣化に対する堅牢で信頼性の高い3D知覚に向けて3D知覚2023/3/1
悪天候やセンサー故障など実環境で起こる8種類の劣化に対する3D知覚モデルの堅牢性を評価する初のベンチマークを構築し、密度に鈍感な学習フレームワークと柔軟なボクセル化戦略を提案した。
- エージェント制御表現:豊富な外生情報を用いた原理的なオフライン強化学習オフラインRL2022/11/1
複雑で時間依存な外生情報を含む視覚的観測から、マルチステップ逆モデルを用いて制御に必要な表現を学習するオフラインRL手法ACROを提案し、ベンチマークで有効性を示した。
- 平面正則性を活用した直接疎視覚慣性オドメトリ視覚慣性オドメトリ2022/4/1
推定した地図点から平面を検出し、共平面拘束を直接法の光度誤差に組み込むことで、単眼視覚慣性オドメトリの姿勢推定精度を向上させた研究。
- 水中用水圧駆動の生体模倣ソフトロボットハンド:多源結合型ソフトパームと6本指の開発ソフトロボティクス2021/6/1
生体模倣の考え方に基づき、水圧で駆動する多自由度ソフト指とソフトパームからなる水中用ソフトロボットハンドを開発し、精密流体制御系と組み合わせて多様な対象物の柔軟把持を実現した。
- ステレオSLAMと視覚慣性オドメトリのための共平面パラメータ化SLAM2020/9/1
共平面な点と線を2D画像座標と平面パラメータで表現する新しいパラメータ化を提案し、ステレオSLAMとVIOの姿勢最適化を高精度・高効率化した研究。
- 動的環境における複数エージェントのロバスト軌道予測軌道予測2020/5/1
動的シーンで相互作用する複数エージェントの軌道予測のため、相互作用ネット・環境ネット・予測ネットを組み合わせた手法を提案し、歩行者や車両のデータセットで高精度を達成した。
- 平面規則性を活用した点・線ビジュアル慣性オドメトリVIO2020/4/1
点・線特徴と平面の共平面性制約を統合した単眼VIOシステムPLP-VIOを提案し、3D点・空間線・メッシュ生成の精度を向上させた。
- GRIP++: 自動運転のためのグラフベース相互作用認識型軌道予測の改良軌道予測2019/7/1
固定グラフと動的グラフを併用して交通エージェントの軌道を予測するGRIP++を提案し、ApolloScapeデータセットで最先端精度を達成した論文。
- ヒストグラム均等化とORB特徴を統合したステレオSLAMSLAM2019/2/1
低コントラスト画像でも安定して動くよう、ヒストグラム均等化で画像コントラストを改善してからORB特徴を抽出するステレオSLAMを提案し、KITTIやEuRoCでORB-SLAM2と比較して精度とリアルタイム性を示した。
- 自律型精密受粉ロボットの設計農業ロボティクス2018/8/1
温室環境でブランブル植物の受粉を行う自律ロボット「BrambleBee」の設計と開発について述べた論文。
- MEBNを用いた水中ロボットの文脈推論水中ロボット2017/6/1
水中ロボットの文脈認識のため、不確実性下での確率的推論手法MEBNの実現可能性を油流出監視のユースケースで検証した。
