Mengkang Hu
収録論文 12本 ・ フィジカルAI/ロボット学習
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- RobotWorld:多様なタスクと身体性にわたるロボット利用のためのマルチモーダルエージェントベンチマークベンチマーク2026/10/7
汎用エージェントがロボットインターフェースを通じて物理タスクを実行できるかを評価する84タスクのシミュレーションベンチマークを提案し、能力の転移と失敗要因を分析した。
- M²Tok: 視覚言語行動モデルのためのマルチヘッド・マルチコードブック離散行動トークン化VLA2026/9/16
連続的な行動信号を複数のヘッドと独立したコードブックで離散トークン化し、再構成誤差を抑えつつVLAモデルの性能を向上させる手法を提案。
- ST-BiBench:双腕身体性タスクにおけるマルチストリーム・マルチモーダル協調のMLLMベンチマークVLA2026/2/1
双腕ロボットの身体性タスクを対象に、マルチモーダル大規模言語モデルの時空間的なマルチストリーム協調能力を評価する多層ベンチマークST-BiBenchを提案し、30以上のモデルを評価して高次推論と細粒度実行の乖離を明らかにした。
- HyCodePolicy:身体性エージェントにおけるマルチモーダル監視と意思決定のためのハイブリッド言語コントローラVLA2025/8/1
自然言語指示からコードを生成し、視覚言語モデルによる実行監視とコード修復を組み合わせて、ロボット操作タスクを自己修正しながら遂行するハイブリッド制御フレームワークを提案。
- RoboTwin 2.0:強力なドメインランダム化を備えた両腕ロボット操作のためのスケーラブルなデータ生成器とベンチマークsim2real2025/6/1
両腕ロボット操作のための大規模データ生成フレームワークを提案し、マルチモーダル言語モデルによるタスク生成と5軸のドメインランダム化で実世界への転移性能を大幅に向上させた。
- OWMM-Agent:マルチモーダルなエージェントデータ合成によるオープンワールド移動マニピュレーション移動マニピュレーション2025/6/1
オープンワールド移動マニピュレーションのためのマルチモーダルエージェントアーキテクチャと、VLMをファインチューニングするデータ合成パイプラインを提案し、実世界でSOTA性能と汎化を実現した。
- EMOS: 身体性を考慮した異種マルチロボットOSとLLMエージェント群制御2024/10/1
異種ロボット群がURDFから自身の身体能力を理解し、LLMエージェントが協調して操作・知覚・ナビゲーション・物体再配置を行うフレームワークとベンチマークを提案。
- HiAgent: 大規模言語モデルによる長期タスク解決のための階層的ワーキングメモリ管理LLMエージェント2024/8/1
サブゴールを記憶のチャンクとして用い、LLMエージェントのワーキングメモリを階層的に管理することで、長期タスクの成功率を2倍に向上させた。
- DAG-Plan: 双腕協調プランニングのための有向非巡回依存グラフ生成双腕マニピュレーション2024/6/1
自然言語指示をLLMで有向非巡回グラフ(DAG)に変換し、双腕ロボットの並列実行と適応的なタスク割り当てを実現するプランニング手法を提案した。
- RoboCodeX:ロボット行動合成のためのマルチモーダルコード生成VLA2024/2/1
人間の指示を物体中心の操作単位に分解し、コード生成でロボットの行動を合成するフレームワークを提案。シミュレータと実機で操作・ナビゲーションタスクの最先端性能を達成。
- Tree-Planner: 大規模言語モデルによる効率的なクローズドループタスクプランニングタスクプランニング2023/10/1
LLMを用いたタスクプランニングを計画サンプリング・行動木構築・接地判断の3段階に再構成し、トークン消費を92.2%削減しつつ最先端性能を達成した。
- EmbodiedGPT: 身体性チェーン・オブ・ソートによる視覚言語事前学習VLA2023/5/1
Ego4D動画と思考の連鎖で作った大規模計画データセットEgoCOTを用い、7B LLMを接続したマルチモーダル基盤モデルを学習し、高レベル計画と低レベル制御を統合した。
