Caifeng Shan
Nanjing University
収録論文 4本 ・ フィジカルAI/ロボット学習
一人称視点/意図予測VLAマルチモーダルLLM
※arXiv著者名で収集。同姓同名の別人の論文が含まれる場合があります。
論文
- 視線を活用した一人称視点の手と物体のインタラクション予測一人称視点/意図予測2026/10/20
視線の固定強度と新しさで意図の曖昧さを減らし、接触位置を明示的に推定した上で拡散モデルにより物体軌道と両手の動きを同時生成する枠組みを提案した。
- 汎用マルチモーダルモデルによる直接ロボット制御の実力評価VLA2026/10/20
GPT-6 Astraを軽量エージェント枠組みで閉ループ操作に適用し、深度知覚・文脈学習・触覚活用などの身体能力と5つの操作ベンチマークでの性能を体系的に評価、意味推論と物理実行の乖離を明らかにした論文。
- Omni-Woodpecker:オムニLLMのための証拠と事前知識の再バランスによる幻覚補正マルチモーダルLLM2026/10/19
音声・視覚を統合するオムニLLMのクロスモーダル幻覚を、学習不要で隠れ状態の直交分解により証拠と事前知識に分離し再バランスする手法を提案。
- VITA-E:見る・聞く・話す・行動するを同時に実現する身体的インタラクションVLA2025/10/1
2つのVLAモデルを並列に動かす二重モデル構成と「モデル・アズ・コントローラ」により、ロボットが環境を見ながらユーザーの音声を聞き、発話し、行動を同時並行で実行し、割り込みにも即応できる身体的対話フレームワークを提案した。
