日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚/操作arXiv:2607.28391

TacWAM: 力学を考慮した触覚予測を備えたアンカー誘導型ワールドアクションモデル

TacWAM: Anchor-Guided World Action Model with Mechanics-Aware Tactile Prediction

シェア:XThreadsFacebookLINEはてブBluesky

接触を伴う操作タスクにおいて、視覚だけでなく触覚の未来予測を活用し、力や変形などの物理情報を捉えつつ、アクション生成に特権的な手がかりとして使わないようにする新しいワールドアクションモデルを提案した。

詳しい要約

1. どんなもの?

- 接触の多いマニピュレーション向けの World Action Model (WAM) である TacWAM を提案。 - 視覚的な未来予測だけでなく、力・変形・shear・slip などの物理情報を含む tactile future を予測・活用する。 - 3 段階の構成: Spatially Aligned Fusion (SAF) Tactile Encoder、tactile history encoder、Anchor-Guided Tri-Modal (AGT) Attention。 - 4 つの実世界 contact-rich タスク (fragile grasping、sustained surface contact、dynamic in-hand manipulation) で評価。

2. 先行研究と比べてどこがすごい?

- 既存 WAM は主に visual futures に依存し、接触時の力・変形・shear・slip への supervision が限定的。 - TacWAM は tactile futures に意味のある物理情報を持たせつつ、action 生成の privileged cue にしない設計を両立。 - 評価した最強 baseline を 37.5 ポイント上回る平均成功率 75.0% を達成。 - staged ablation で tactile history 除去や future prediction target へのアクセス緩和時に一貫した性能低下を確認。

3. 技術・手法の肝は?

- SAF Tactile Encoder: tactile appearance、dense force fields、deformation flow を shared latent prediction space に写像。 - bilateral force and torque reconstruction により global contact information を保持。 - tactile history encoder: 現在の tactile observation を超えて力・変形の時間変化を反映する temporal context を提供。 - AGT Attention: current visual/tactile anchors、future prediction tokens、action tokens を分離。 - future tactile states は training の supervision に使うが、action branch が直接読まない情報制約を課す。

4. どうやって有効だと検証した?

- 実世界の contact-rich manipulation 4 タスクで評価。 - 対象は fragile grasping、sustained surface contact、dynamic in-hand manipulation。 - 平均成功率 75.0% を達成し、評価した最強 baseline を 37.5 ポイント上回る。 - staged ablation により tactile history 除去時と future prediction target アクセス緩和時に一貫した性能低下を確認。

5. 議論はある?

- future tactile supervision は、情報量の多い tactile representation と deployment-consistent な情報制約を組み合わせることで contact-aware action learning を改善し得る。 - tactile futures が action 生成の privileged cue にならない設計が重要であると示唆。 - 限界や失敗事例、計算コスト、他タスクへの一般化については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明記されていない。 - 関連手法として World Action Models (WAMs)、visual future prediction、tactile representation learning、contact-rich manipulation の既存研究を挙げる。 - 具体的な次読論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Lei Jin, Yiding Ma, Xin Zhang, Chen Gao, Wei Wu, Yong Li

分類: cs.RO

原文アブストラクト

World Action Models (WAMs) combine future-state prediction with robot action generation, but existing approaches largely rely on visual futures. Visual prediction captures scene structure and object motion, yet provides limited supervision for force, deformation, shear, and slip during contact-rich manipulation. This creates two design requirements: tactile futures should carry meaningful physical information, and they should not become privileged cues for action generation. We present TacWAM, a mechanics-aware tactile WAM that addresses this challenge in three steps. First, a Spatially Aligned Fusion (SAF) Tactile Encoder maps tactile appearance, dense force fields, and deformation flow into a shared latent prediction space, with bilateral force and torque reconstruction preserving global contact information. Second, a tactile history encoder provides temporal context so future tactile prediction reflects how force and deformation change beyond the current tactile observation. Third, Anchor-Guided Tri-Modal (AGT) Attention separates current visual and tactile anchors, future prediction tokens, and action tokens, allowing future tactile states to supervise training without being directly read by the action branch. We evaluate TacWAM on four real-world contact-rich manipulation tasks covering fragile grasping, sustained surface contact, and dynamic in-hand manipulation. TacWAM achieves an average success rate of 75.0%, exceeding the strongest evaluated baseline by 37.5 percentage points. Staged ablations show consistent degradation when tactile history is removed and access to future prediction targets is relaxed. These results indicate that future tactile supervision can improve contact-aware action learning when combined with informative tactile representations and deployment-consistent information constraints.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI