Ruihua Song
収録論文 5本 ・ フィジカルAI/ロボット学習
マルチモーダル知覚動作生成VLAマニピュレーション
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- ROMA: 実世界の物体中心マルチセンサ能動知覚のためのLLMシステムマルチモーダル知覚2026/10/3
視覚・音・触覚・力覚を統合し、不足情報を能動的に獲得するLLMベースのロボット知覚システムROMAを提案。約2000物体のマルチセンサデータセットROMI-2Kと評価ベンチマークも構築した。
- Think-Then-React: 制約のない人間の行動から反応生成に向けて動作生成2025/3/1
大規模言語モデルを基盤に、行動意図を推論する「思考」と反応を予測する「反応」の二段階で人間らしい反応動作を生成するフレームワークTTRを提案。
- RoLD: マルチタスク方策モデリングのためのロボット潜在拡散モデルVLA2024/3/1
ロボットの行動軌跡を潜在空間にエンコードし、その空間上で拡散モデルを学習することで、言語指示付きマルチタスク操作の方策を効率的に生成する手法を提案した。
- 基盤モデルを転移する汎化可能なロボットマニピュレーションマニピュレーション2023/6/1
インターネット規模の基盤モデルが生成する言語推論セグメンテーションマスクを活用し、新規物体や未知環境にも汎化するロボットマニピュレーション方策を提案した。
- AlphaBlock: ロボットマニピュレーションにおける視覚言語推論のための身体性ファインチューニングVLA2023/5/1
LLMを用いて高次指示と観察系列のデータセットAlphaBlockを自動収集し、画像入力からマルチステップ計画を自己回帰生成する閉ループ型マルチモーダル身体性プランニングモデルを提案した。
