日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.11109

FEWT: 周波数強調ウェーブレットベースTransformerによるマルチモーダル車輪型双腕マニピュレーション

FEWT: Frequency-Enhanced Wavelet-based Transformer for Multimodal Wheeled Bimanual Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

車輪型双腕ロボットの遠隔操作データを用いた模倣学習において、周波数強調とウェーブレット変換で視覚特徴と高周波物理ダイナミクスを整合させ、触覚センサも統合した軽量フレームワークFEWTを提案した。

詳しい要約

1. どんなもの?

- 車輪付き双腕ロボットプラットフォームと外骨格型テレオペレーションシステムを用いた模倣学習研究 - 空間的視覚意味論と局所的高周波物理ダイナミクスの表現不一致を克服する軽量な周波数整合型模倣学習フレームワーク FEWT (Frequency-Enhanced Wavelet-based Transformer) を提案 - FE-EMA (Frequency-Enhanced Efficient Multi-Scale Attention) と TS-DWT (Time-Series Discrete Wavelet Transform) の2モジュールを統合 - 自社開発の Smart Tactile Fabric (STF) センサをエンドエフェクタに組み込み、マルチモーダルシステムへ拡張

2. 先行研究と比べてどこがすごい?

- 広く使われる Action Chunking with Transformers (ACT) ベースラインに対し、FEWT はシミュレーション双腕挿入タスクの最难フェーズで成功率を大幅改善 - 空間視覚表現と時間周波数再校正の整合性を明示的に扱う点が従来の模倣学習と異なる - STF センサによる局所接触応力情報を固有感覚・シャシー運動キューと共有マルチモーダル表現で補完 - 実世界の移動・デスクトップ操作タスクで微視的動的摂動に適応し性能を大幅向上

3. 技術・手法の肝は?

- FEWT は FE-EMA と TS-DWT を統合し、多スケール特徴を明示的に抽出・整列 - TS-DWT により時系列の周波数情報を抽出し、空間視覚表現と時間周波数再校正の互換性を向上 - FE-EMA により効率的な多スケール注意機構を実現 - STF センサを物理エンドエフェクタに統合し、局所接触応力情報を固有感覚・シャシー運動キューと共有マルチモーダル表現に融合

4. どうやって有効だと検証した?

- シミュレーション双腕挿入タスクで ACT ベースラインと比較し、最难フェーズの成功率改善を評価 - 実世界の複雑な移動・デスクトップ操作タスクで STF 拡張システムの適応性と性能向上を評価 - 具体的な数値・被験者数・試行回数は要旨からは不明

5. 議論はある?

- 空間視覚意味論と局所高周波物理ダイナミクスの表現不一致の克服を主張 - STF センサが微視的動的摂動への適応に寄与することを示唆 - 限界・失敗事例・計算コスト・汎化性に関する議論は要旨からは不明

6. 次に読むべき論文は?

- Action Chunking with Transformers (ACT) - Discrete Wavelet Transform を用いた時系列モデリング関連研究 - Efficient Multi-Scale Attention 関連研究 - 触覚センサを用いたマルチモーダル模倣学習研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiaxin Huang, Hanyu Liu, Yunsheng Ma, Jian Shen, Yilin Zheng, Jiayi Wen, Zhigong Song

分類: cs.RO

原文アブストラクト

Embodied intelligence bridges the physical world and information spaces, with robots demonstrating immense potential through imitation learning algorithms. In this study, a custom-built wheeled bimanual robotic platform equipped with an exoskeleton-style teleoperation system was utilized to realize intuitive remote manipulation and the efficient collection of anthropomorphic action data. To overcome the representation mismatch between spatial visual semantics and localized high-frequency physical dynamics, we propose a lightweight frequency-aligned imitation-learning framework, termed the Frequency-Enhanced Wavelet-based Transformer (FEWT). FEWT integrates two primary modules: Frequency-Enhanced Efficient Multi-Scale Attention (FE-EMA) and Time-Series Discrete Wavelet Transform (TS-DWT) to explicitly extract and align multi-scale features, improving the compatibility between spatial visual representations and temporal-frequency recalibration. Crucially, for real-world deployment, this framework is further extended into a multimodal system by seamlessly integrating a self-developed Smart Tactile Fabric (STF) sensor into the physical end-effectors, providing local contact-stress information that complements proprioceptive and chassis-motion cues in the shared multimodal representation. Experimental evaluations demonstrate that the core FEWT architecture significantly improves the success rate over the widely used Action Chunking with Transformers baseline, particularly during the most challenging phases of simulated bimanual insertion tasks. Furthermore, in complex real-world mobile and desktop manipulation tasks, the full STF-enhanced system effectively adapts to microscopic dynamic perturbations, yielding substantial performance enhancements.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI