日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.09985

Octopi-1.5:視覚・触覚・言語モデルの実演

Demonstrating the Octopi-1.5 Visual-Tactile-Language Model

シェア:XThreadsFacebookLINEはてブBluesky

触覚信号を複数部位から処理し、RAGで新規物体を学習できる視覚・触覚・言語モデルOctopi-1.5を、手持ち型触覚デバイスTMIを通じて実演する。

詳しい要約

1. どんなもの?

- Octopi-1.5は視覚・触覚・言語を統合するVTLM(Visual-Tactile-Language Model)の最新版。 - 従来のOctopiを改良し、複数の物体部位からの触覚信号を処理可能。 - 簡単なRAGモジュールを導入し、タスク性能を向上させ、新しい物体をオンザフライで学習可能。 - ハンドヘルド型触覚インターフェースTMI(GelSightとTAC-02触覚センサを搭載)を通じて、ロボットなしでライブ体験できる。 - デモでは触覚推論タスク(例:Guessing Gameでの物体識別や取扱いアドバイス)を実演。

2. 先行研究と比べてどこがすごい?

- 先行の触覚基盤モデル(Octopi)と比較して、複数物体部位の触覚信号処理を新たに導入。 - RAGモジュールにより、タスク性能の向上と新しい物体のオンザフライ学習が可能になった点が進歩。 - ロボットを必要としないハンドヘルド触覚インターフェースTMIを開発し、アクセシビリティを向上。 - 具体的な性能比較の数値は要旨からは不明。

3. 技術・手法の肝は?

- 視覚・触覚・言語を統合するVTLMアーキテクチャを採用。 - 複数の物体部位からの触覚入力を処理する機構を導入。 - シンプルなRAGモジュールを組み込み、推論時に外部知識を参照可能に。 - 触覚センサとしてGelSightとTAC-02を搭載したTMIインターフェースを使用。 - 詳細なモデル構造や学習手法は要旨からは不明。

4. どうやって有効だと検証した?

- デモンストレーション形式で、ライブインタラクションを通じて有効性を提示。 - Guessing Gameなどの触覚推論タスクを解く様子を実演。 - RAG機能を用いて新しい物品を教え、学習能力をデモ。 - 定量的な評価指標や実験結果は要旨からは不明。

5. 議論はある?

- デモを通じてVTLMの進歩と限界の両方を明らかにすることを目的としている。 - 具体的な限界や課題については要旨からは不明。 - ライブインタラクションにより、この分野への関心を高めることを意図。

6. 次に読むべき論文は?

- Octopi(先行研究): 触覚基盤モデルとして比較対象。 - RAG(Retrieval-Augmented Generation): 導入された手法。 - GelSight, TAC-02: 使用されている触覚センサ。 - VTLM(Visual-Tactile-Language Model): 関連研究分野。 - その他、要旨で参照されている具体的な論文は不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Samson Yu, Kelvin Lin, Harold Soh

分類: cs.RO, cs.AI

原文アブストラクト

Touch is recognized as a vital sense for humans and an equally important modality for robots, especially for dexterous manipulation, material identification, and scenarios involving visual occlusion. Building upon very recent work in touch foundation models, this demonstration will feature Octopi-1.5, our latest visual-tactile-language model. Compared to its predecessor, Octopi-1.5 introduces the ability to process tactile signals from multiple object parts and employs a simple retrieval-augmented generation (RAG) module to improve performance on tasks and potentially learn new objects on-the-fly. The system can be experienced live through a new handheld tactile-enabled interface, the TMI, equipped with GelSight and TAC-02 tactile sensors. This convenient and accessible setup allows users to interact with Octopi-1.5 without requiring a robot. During the demonstration, we will showcase Octopi-1.5 solving tactile inference tasks by leveraging tactile inputs and commonsense knowledge. For example, in a Guessing Game, Octopi-1.5 will identify objects being grasped and respond to follow-up queries about how to handle it (e.g., recommending careful handling for soft fruits). We also plan to demonstrate Octopi-1.5's RAG capabilities by teaching it new items. With live interactions, this demonstration aims to highlight both the progress and limitations of VTLMs such as Octopi-1.5 and to foster further interest in this exciting field. Code for Octopi-1.5 and design files for the TMI gripper are available at https://github.com/clear-nus/octopi-1.5.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI