日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作学習arXiv:2605.27886

Tabero: 視覚・触覚・言語からの閉ループ力フィードバックによる優しい操作の学習

Tabero: Learning Gentle Manipulation with Closed-Loop Force Feedback from Vision, Touch, and Language

シェア:XThreadsFacebookLINEはてブBluesky

触覚フィードバックを活用した優しいロボット操作を実現するため、データ効率的なパイプラインで視覚・触覚・言語データを生成し、力と位置を分離した指令インターフェースを持つモデルを提案。優しい指示下で把持力を70%以上削減しつつ高い成功率を維持した。

詳しい要約

1. どんなもの?

- 言語条件付きの gentle manipulation を対象とした benchmark と model suite である Tabero を提案。 - 触覚フィードバックを活用し、きめ細かな接触力知覚を要求する。 - Tabero benchmark は、open-source の robot manipulation trajectories を再利用して vision-tactile-language タスクを生成する data-efficient pipeline を提供。 - タスク成功率と物理的相互作用の質を測る多次元評価プロトコルを確立。 - Tabero-VTLA は、decoupled force-position command interface を持ち、fixed hybrid controller で実行するアーキテクチャ。

2. 先行研究と比べてどこがすごい?

- 既存の Vision-Language-Action (VLA) モデルは、触覚フィードバックを gentle manipulation に活用することが困難であった。 - その原因として、aligned vision-tactile-language data の不足と、効果的な closed-loop force feedback 機構の欠如を挙げている。 - Tabero は、data-efficient pipeline により触覚データ不足を緩和し、closed-loop force feedback を可能にする点で先行研究と異なる。 - gentle instructions 下で平均 grip force を 70% 以上削減しつつ高いタスク成功率を維持する点が優位性として示されている。

3. 技術・手法の肝は?

- Tabero benchmark: open-source robot manipulation trajectories を再利用し、多様な vision-tactile-language タスクを生成する data-efficient pipeline。 - 多次元評価プロトコル: タスク成功率と物理的相互作用の質を測定。 - Tabero-VTLA: decoupled force-position command interface を備えたアーキテクチャ。 - 生成された force-position commands は fixed hybrid controller によって実行され、real-time かつ force-aware な manipulation を実現。 - 詳細なネットワーク構造や学習手順は要旨からは不明。

4. どうやって有効だと検証した?

- Tabero benchmark 上で Tabero-VTLA を評価。 - gentle instructions 下で高いタスク成功率を維持しつつ、平均 grip force を 70% 以上削減。 - この結果により、multimodal experience に基づいて interaction forces を調節する能力を実証したと主張。 - 評価指標の詳細や被験者実験の有無は要旨からは不明。

5. 議論はある?

- 触覚データの不足と closed-loop force feedback 機構の欠如が VLA モデルの gentle manipulation を妨げる主要課題であると議論。 - Tabero の data-efficient pipeline と評価プロトコルがこれらの課題に対処する。 - 限界や失敗事例、一般化可能性、実世界への展開可能性についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: Vision-Language-Action (VLA) モデル。 - 関連手法: closed-loop force feedback、hybrid controller、tactile sensing を用いた manipulation。 - 具体的な論文名は要旨に記載がないため、同分野の定番として VLA や tactile-based manipulation の研究を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Qiwei Wu, Rui Zhang, Xin Xiang, Tao Li, Weihua Zhang, Junjie Lai, Renjing Xu

分類: cs.RO

原文アブストラクト

Tactile sensing is essential for robots to achieve human-like gentle manipulation. However, existing Vision-Language-Action (VLA) models struggle to exploit tactile feedback for gentle manipulation due to scarce aligned vision-tactile-language data and the lack of effective closed-loop force feedback mechanisms. To address these challenges, we introduce Tabero, a benchmark and model suite for gentle, language-conditioned robotic manipulation that demands fine-grained contact force perception. First, the Tabero benchmark addresses the scarcity of tactile data by presenting a data-efficient pipeline that repurposes open-source robot manipulation trajectories to generate diverse vision-tactile-language tasks, and establishes a multidimensional evaluation protocol that measures task success alongside physical interaction quality. Second, we propose Tabero-VTLA, an architecture with a decoupled force-position command interface; the resulting force-position commands are executed by a fixed hybrid controller to enable real-time, force-aware manipulation. Evaluated on Tabero, our model maintains high task success while reducing average grip force by over 70\% under gentle instructions, demonstrating its ability to modulate interaction forces based on multimodal experience. Our code is publicly available at https://github.com/NathanWu7/Tabero.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI