日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

触覚arXiv:2609.33235

触覚対話知覚の物体中心表現を用いたロボットマニピュレーション学習

Learning with Object-centric Representations of Tactile Interactive Perception for Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

触覚探索から物体の物理的性質を表す物体中心表現を学習し、それを用いて視覚的に曖昧な物体の操作方策を適応させるフレームワークを提案した。

詳しい要約

1. どんなもの?

- 視覚では判断しにくい物体の材質・内容物・柔らかさなどの暗黙的物性を、触覚センシングと探索的インタラクションで明らかにする研究。 - 触覚信号は過渡的で疎なため、有益な触覚イベントを抽出しロボットマニピュレーションに組み込むのは困難。 - 本研究は、触覚探索を通じてタスク非依存の物体表現を学習する object-centric context-aware manipulation framework を提案。 - token learner が長期的探索から代表的な触覚セグメントを自律選択し、記述的テキスト埋め込みとの contrastive alignment で複数の物理的物体特性を捉える潜在空間を獲得。 - 学習した表現を意味的文脈として object-centric な操作ポリシーを導き、物体特性に応じて戦略を適応させる。

2. 先行研究と比べてどこがすごい?

- 従来は視覚から直接推論しにくい物性を触覚で扱う際、触覚信号の過渡性・疎性のため有益イベント抽出と操作への統合が課題だった。 - 本研究は token learner による代表触覚セグメントの自律選択と、記述的テキスト埋め込みとの contrastive alignment を組み合わせ、タスク非依存の物体表現を学習する点が新しい。 - 学習表現を意味的文脈として object-centric 操作ポリシーに組み込み、物体特性に基づく戦略適応を可能にした。 - 視覚的に曖昧な物体を含む3タスクで、object-context conditioning なしの baseline より成功率を大幅改善(seen 41%→92%、unseen 19%→67%)。

3. 技術・手法の肝は?

- token learner が長期的触覚探索から代表的な触覚セグメントを自律的に選択。 - 選択された触覚セグメントと記述的テキスト埋め込みを contrastive alignment し、複数の物理的物体特性を捉える潜在空間を学習。 - 学習した物体表現を意味的文脈(semantic context)として object-centric な操作ポリシーに与え、物体特性に応じた戦略適応を実現。 - タスク非依存の物体表現を触覚探索で獲得する点が肝。

4. どうやって有効だと検証した?

- 学習した表現の物性推定精度を評価:seen objects で93%、unseen objects で84%。 - 視覚的に曖昧な物体を含む3タスク(multi-object rearrangement、pouring、box opening)で評価。 - object-context conditioning なしの baseline ポリシーと比較し、全評価試行のタスク成功率を seen で41%→92%、unseen で19%→67%に改善。 - ターゲット選択と物性依存の操作適応の両方が向上したと報告。

5. 議論はある?

- 要旨からは、手法の限界や失敗事例、計算コスト、触覚センサの種類・実機設定などの議論は不明。 - 学習表現が複数の物理的物体特性を捉え、seen/unseen 双方で物性推定とタスク成功率を改善した点が主張されている。 - 視覚的に曖昧な物体を含むタスクでの有効性が示される一方、一般化範囲や他タスクへの拡張性についての議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として、tactile representation learning、contrastive learning、object-centric manipulation、token learner、vision-language embedding を用いたロボティクス研究が次に読むべき候補。 - 同分野の定番として、tactile sensing を用いた robot manipulation や object-centric policy learning の論文を挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xinyi Yang, Zilin Si, Zhuowei Xu, Zeynep Temel, Oliver Kroemer

分類: cs.RO

原文アブストラクト

Implicit object properties that are difficult to directly infer from vision, such as material, container contents, or softness, can be revealed through tactile sensing and exploratory interactions. However, because tactile signals are transient and sparse, extracting informative tactile events and effectively incorporating them into robotic manipulation remains a challenge. In this work, we present an object-centric context-aware manipulation framework that learns task-agnostic object representations through tactile exploration. A token learner autonomously selects representative tactile segments from long-horizon exploration, while contrastive alignment with descriptive text embeddings enables a latent space that captures multiple physical object properties. These learned representations are then used as semantic context to guide object-centric manipulation policies and adapt strategies based on object properties. Experiments show that the learned representations achieve 93% and 84% property estimation accuracy on seen and unseen objects. Evaluated on three tasks involving visually ambiguous objects, i.e. multi-object rearrangement, pouring, and box opening, the proposed framework improves both target selection and property-dependent manipulation adaptation, raising task success, aggregated over all evaluation trials, from 41% to 92% on seen objects and from 19% to 67% on unseen objects over baseline policies without object-context conditioning. Videos and additional results are available at https://xinyiyxyx.github.io/tactile-object-centric/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI