日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

English週刊ニュースレター購読
マニピュレーションarXiv:2505.22159

ForceVLA：力覚対応MoEで接触の多いマニピュレーションを強化するVLAモデル

ForceVLA: Enhancing VLA Models with a Force-aware MoE for Contact-rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

外部力覚をVLAの第一級モダリティとして扱い、力覚対応のMixture-of-Experts融合モジュールで視覚言語埋め込みと6軸力フィードバックを統合する操作フレームワークを提案し、接触の多いタスクの成功率を23.2%向上させた。

詳しい要約

1. どんなもの？

- Vision-Language-Action (VLA) モデルに外部力覚を第一級モダリティとして組み込んだ end-to-end マニピュレーションフレームワーク ForceVLA の提案。 - 接触が重要な contact-rich タスク（visual occlusion や動的不確実性を含む）を対象。 - 力覚対応の Mixture-of-Experts 融合モジュール FVLMoE を中核に据える。 - 視覚・固有感覚・力-トルクを同期収録した新データセット ForceVLA-Data も導入。

2. 先行研究と比べてどこがすごい？

- 従来の VLA は pretrained な視覚・言語表現を活用するが、力制御を要する contact-rich タスク、特に visual occlusion や動的不確実性下で苦戦。 - ForceVLA は外部力覚センシングを VLA の第一級モダリティとして扱う点が新規。 - 強い pi_0-based ベースラインに対し平均タスク成功率を 23.2% 改善。 - plug insertion などで最大 80% の成功率を達成し、物理的に賢いロボット制御の新ベンチマークを提示。

3. 技術・手法の肝は？

- FVLMoE: 力覚対応の Mixture-of-Experts 融合モジュール。 - action decoding 時に pretrained な視覚-言語埋め込みとリアルタイム 6-axis 力覚フィードバックを動的に統合。 - modality ごとの expert への context-aware routing を行い、微妙な接触ダイナミクスへの適応を強化。 - 全体は end-to-end のマニピュレーションフレームワークとして構成。

4. どうやって有効だと検証した？

- ForceVLA-Data を構築: 5 つの contact-rich マニピュレーションタスクにわたり視覚・固有感覚・力-トルク信号を同期収録。 - 強い pi_0-based ベースラインと比較し、平均タスク成功率が 23.2% 向上。 - plug insertion などのタスクで最大 80% の成功率を達成。 - 詳細な実験設定・被験者数・統計手法は要旨からは不明。

5. 議論はある？

- 多モーダル統合が dexterous manipulation に重要であることを強調。 - 物理的に賢いロボット制御の新ベンチマークを設定すると主張。 - 限界・失敗事例・計算コスト・汎化性に関する具体的議論は要旨からは不明。 - code と data は https://sites.google.com/view/forcevla2025 で公開予定。

6. 次に読むべき論文は？

- pi_0（要旨で比較対象の strong pi_0-based baselines の基盤）。 - Vision-Language-Action (VLA) モデル全般の代表的研究。 - Mixture-of-Experts (MoE) を用いたマルチモーダル融合の関連研究。 - 6-axis force-torque センシングを用いた contact-rich manipulation の研究。 - ForceVLA-Data と同種の視覚・固有感覚・力覚同期データセット。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiawen Yu, Hairuo Liu, Qiaojun Yu, Jieji Ren, Ce Hao, Haitong Ding, Guangyu Huang, Guofan Huang, Yan Song, Panpan Cai, Cewu Lu, Wenqiang Zhang

分類: cs.RO, cs.CV

原文アブストラクト

Vision-Language-Action (VLA) models have advanced general-purpose robotic manipulation by leveraging pretrained visual and linguistic representations. However, they struggle with contact-rich tasks that require fine-grained control involving force, especially under visual occlusion or dynamic uncertainty. To address these limitations, we propose ForceVLA, a novel end-to-end manipulation framework that treats external force sensing as a first-class modality within VLA systems. ForceVLA introduces FVLMoE, a force-aware Mixture-of-Experts fusion module that dynamically integrates pretrained visual-language embeddings with real-time 6-axis force feedback during action decoding. This enables context-aware routing across modality-specific experts, enhancing the robot's ability to adapt to subtle contact dynamics. We also introduce \textbf{ForceVLA-Data}, a new dataset comprising synchronized vision, proprioception, and force-torque signals across five contact-rich manipulation tasks. ForceVLA improves average task success by 23.2% over strong pi_0-based baselines, achieving up to 80% success in tasks such as plug insertion. Our approach highlights the importance of multimodal integration for dexterous manipulation and sets a new benchmark for physically intelligent robotic control. Code and data will be released at https://sites.google.com/view/forcevla2025.

arXivで原文を読む →arXiv概要ページ

関連論文

← 論文一覧

今週よく読まれている記事

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大　最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携　2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM（ミニPC）

MINISFORUM（ミニPC）の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI
双腕モバイルマニピュレーターOpenShellの実機とお披露目フライヤー

双腕モバイルマニピュレーター OpenShell

人と働くために、顔がある。

OpenShellの特徴・実機を見る →