日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2508.14441

FBI: 動的な視触覚ショートカット方策による巧みな把持内操作の学習

FBI: Learning Dexterous In-hand Manipulation with Dynamic Visuotactile Shortcut Policy

シェア:XThreadsFacebookLINEはてブBluesky

触覚信号と物体運動の因果関係を動的潜在モデルで捉え、視覚と触覚を動的に融合する模倣学習フレームワークFBIを提案し、把持内操作タスクで性能を向上させた。

詳しい要約

1. どんなもの?

- 器用な in-hand manipulation のための visuotactile imitation learning フレームワーク「Flow Before Imitation (FBI)」を提案した論文。 - 視覚と触覚を motion dynamics を介して動的に融合する点が特徴。 - transformer-based interaction module と one-step diffusion policy を組み合わせ、real-time 実行を狙う。 - simulation と real world の両方で評価している。

2. 先行研究と比べてどこがすごい?

- 従来の static fusion 手法と異なり、触覚信号と物体運動の間に dynamics-aware latent model を介した causal link を構築する点を主張。 - 視覚か触覚の片方を優先しがちな従来アプローチに対し、両 modality を動的に統合する。 - 具体的な先行研究名や数値比較は要旨からは不明。

3. 技術・手法の肝は?

- dynamics-aware latent model により触覚と物体運動の因果関係をモデル化。 - flow-derived tactile features を transformer-based interaction module で視覚入力と融合。 - 融合表現に基づき one-step diffusion policy を学習し、real-time 実行を実現。 - 詳細なネットワーク構成や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- simulation と real world の両方で実験。 - 2 つの customized in-hand manipulation tasks と 3 つの standard dexterous manipulation tasks で評価。 - baseline methods を上回る性能を示したと報告。 - 具体的な指標や被験者数などは要旨からは不明。

5. 議論はある?

- 視覚と触覚の動的融合が adapt ability を高めるという主張。 - partial observability や複雑な contact dynamics への対処を動機付けている。 - 限界や失敗事例、計算コストの議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている具体的な先行研究は不明。 - 関連手法として visuotactile imitation learning、diffusion policy、transformer-based multimodal fusion の代表的論文を挙げて読むのが妥当。 - in-hand manipulation の標準的 benchmark に関する論文も参照候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijin Chen, Wenqiang Xu, Zhenjun Yu, Tutian Tang, Yutong Li, Siqiong Yao, Cewu Lu

分類: cs.RO

原文アブストラクト

Dexterous in-hand manipulation is a long-standing challenge in robotics due to complex contact dynamics and partial observability. While humans synergize vision and touch for such tasks, robotic approaches often prioritize one modality, therefore limiting adaptability. This paper introduces Flow Before Imitation (FBI), a visuotactile imitation learning framework that dynamically fuses tactile interactions with visual observations through motion dynamics. Unlike prior static fusion methods, FBI establishes a causal link between tactile signals and object motion via a dynamics-aware latent model. FBI employs a transformer-based interaction module to fuse flow-derived tactile features with visual inputs, training a one-step diffusion policy for real-time execution. Extensive experiments demonstrate that the proposed method outperforms the baseline methods in both simulation and the real world on two customized in-hand manipulation tasks and three standard dexterous manipulation tasks. Code, models, and more results are available in the website https://sites.google.com/view/dex-fbi.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI