日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.19047

ManipForce: 接触の多いマニピュレーションのための周波数対応表現を用いた力誘導方策学習

ManipForce: Force-Guided Policy Learning with Frequency-Aware Representation for Contact-Rich Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間のデモから高周波の力覚とRGBを同時取得するハンドヘルドシステムと、周波数・モダリティ対応埋め込みと双方向クロスアテンションで融合する拡散方策を提案し、歯車組立など6つの接触リッチタスクで平均83%の成功率を達成した。

詳しい要約

1. どんなもの?

- 接触の多いマニピュレーション(例: precision assembly)向けの、力覚を活用した模倣学習の枠組み - 手持ち式のデータ収集システム ManipForce を提案 - 人間の自然な実演中に高周波の force-torque (F/T) と RGB を同時取得 - 収集データを用いる Frequency-Aware Multimodal Transformer (FMT) を提案 - 非同期な RGB と F/T を周波数・モダリティ認識の埋め込みで符号化 - transformer diffusion policy 内で bi-directional cross-attention により融合 - gear assembly、box flipping、battery insertion など実世界6タスクで評価

2. 先行研究と比べてどこがすごい?

- 既存の imitation learning は主に vision-only の実演に依存しており、接触を伴う精密作業に必要な相互作用力の制御が不十分 - 本研究は実演時に高周波 F/T を取得する ManipForce を導入し、視覚のみの実演では得られない力情報を方策学習に活用 - FMT は非同期な RGB と F/T を周波数・モダリティ認識の埋め込みと cross-attention で統合する点が特徴 - 実世界6タスクで平均成功率 83% を達成し、RGB-only ベースラインを大きく上回ると報告 - 高周波 F/T と cross-modal 統合の有効性を ablation とサンプリング周波数分析で確認

3. 技術・手法の肝は?

- ManipForce: 人間の自然な実演中に高周波 F/T と RGB を同時記録する手持ち式システム - FMT (Frequency-Aware Multimodal Transformer): - 非同期な RGB と F/T 信号を frequency- and modality-aware embeddings で符号化 - transformer diffusion policy 内で bi-directional cross-attention により両モダリティを融合 - 高周波 F/T データと cross-modal integration を組み込むことで、高精度・安定接触が求められるタスクの性能向上を狙う - 詳細なネットワーク構成や学習手順は要旨からは不明

4. どうやって有効だと検証した?

- 実世界の接触の多い6タスク(gear assembly、box flipping、battery insertion など)で実験 - FMT は ManipForce の実演で学習し、全タスク平均成功率 83% を達成 - RGB-only ベースラインを大幅に上回る性能を確認 - ablation と sampling-frequency analyses により、高周波 F/T データの利用と cross-modal integration が方策性能を改善することを確認 - 特に高精度かつ安定した接触が求められるタスクで効果が大きいと報告

5. 議論はある?

- 高周波 F/T と cross-modal integration が、精密接触を要するタスクで方策性能を改善することを ablation とサンプリング周波数分析から議論 - 高精度・安定接触が求められるタスクほど効果が顕著であると示唆 - 限界、失敗事例、一般化性、データ収集コストなどに関する詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で直接参照・比較されている研究は明示されていない - 関連手法として、vision-only の imitation learning、transformer diffusion policy、multimodal transformer、force-torque を用いる contact-rich manipulation の研究を次に読む候補として挙げる - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Geonhyup Lee, Yeongjin Lee, Kangmin Kim, Seongju Lee, Sangjun Noh, Seunghyeok Back, Kyoobin Lee

分類: cs.RO

原文アブストラクト

Contact-rich manipulation tasks such as precision assembly require precise control of interaction forces, yet existing imitation learning methods rely mainly on vision-only demonstrations. We propose ManipForce, a handheld system designed to capture high-frequency force-torque (F/T) and RGB data during natural human demonstrations for contact-rich manipulation. Building on these demonstrations, we introduce the Frequency-Aware Multimodal Transformer (FMT). FMT encodes asynchronous RGB and F/T signals using frequency- and modality-aware embeddings and fuses them via bi-directional cross-attention within a transformer diffusion policy. Through extensive experiments on six real-world contact-rich manipulation tasks - such as gear assembly, box flipping, and battery insertion - FMT trained on ManipForce demonstrations achieves robust performance with an average success rate of 83% across all tasks, substantially outperforming RGB-only baselines. Ablation and sampling-frequency analyses further confirm that incorporating high-frequency F/T data and cross-modal integration improves policy performance, especially in tasks demanding high precision and stable contact.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI