日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

把握検出/マルチモーダルarXiv:2607.26567

Speech2Grasp: ヒューマノイドロボットにおけるテキスト条件付き把握検出の音声へのデータ効率的転移

Speech2Grasp: Data-Efficient Transfer of Text-Conditioned Grasp Detection to Speech in Humanoid Robots

シェア:XThreadsFacebookLINEはてブBluesky

テキスト条件付き把握検出モデルを音声入力に効率的に転移するフレームワークを提案し、実機ヒューマノイドでASRパイプラインより高性能かつ低遅延であることを示した。

詳しい要約

1. どんなもの?

本論文は、ヒューマノイドロボットの把持検出タスクにおいて、テキスト条件付きモデルを音声入力にデータ効率的に転移するフレームワークSpeech2Graspを提案する。具体的には、既存のvision-languageモデルALBEFをケーススタディとして、音声特徴をテキスト埋め込み空間にマッピングする軽量なMLPベースのプロジェクタを導入し、テキスト条件付き把持検出を音声で実行可能にする。実機実験により、カスケード型ASRパイプラインと比較して性能が向上し、推論遅延が削減されることを示す。

2. 先行研究と比べてどこがすごい?

従来のvision-languageモデルはテキスト入力を前提としており、音声入力にはASR(自動音声認識)を介したカスケード方式が一般的である。しかし、ASRは誤認識や遅延を引き起こす可能性がある。本手法は、ASRを介さずに音声特徴を直接テキスト埋め込み空間にマッピングすることで、データ効率的な転移を実現し、性能向上と低遅延を達成している点が新しい。

3. 技術・手法の肝は?

手法の肝は、音声エンコーダとテキストエンコーダの出力を整合させる軽量なMLPベースのプロジェクタの導入である。まず、診断分析により、MLPプロジェクタが音声特徴をテキスト埋め込み空間に効果的に適応させ、意味的識別性とロバスト性を維持することを確認する。次に、Speech2Graspフレームワークでは、このプロジェクタをALBEFに組み込み、音声入力から直接把持検出を実行する。

4. どうやって有効だと検証した?

有効性の検証は、実世界のヒューマノイドロボット実験で行われた。Speech2Graspは、カスケード型ASRベースのパイプラインと比較して、把持検出性能が向上し、推論遅延が削減されることが示された。また、診断分析により、プロジェクタの設計選択が意味的識別性とロバスト性に与える影響を評価している。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、提案手法がASRベースのパイプラインを凌駕する一方で、音声の多様性(アクセント、ノイズなど)に対するロバスト性や、他のテキスト条件付きタスクへの一般化可能性については言及されていない。また、MLPプロジェクタの軽量性とデータ効率性のトレードオフについての考察も要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されているALBEF(Align before Fuse)に関する論文、およびテキスト条件付き把持検出の関連研究が挙げられる。また、音声とテキストのマルチモーダル学習に関する一般的な研究(例:音声-テキスト事前学習モデル)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Hung Nguyen, Kim Nhat Minh Nguyen, Van Duc Vu, Van-Danh Le, Hoang Huy Le, Dinh Tuan Nguyen, Pham Tuyen Le, Van-Truong Nguyen, Quan Nguyen

分類: cs.RO, cs.CV

原文アブストラクト

Humanoid robots increasingly require multi-modal understanding for natural interaction with humans. Despite the prominence of vision-language models, they generally assume textual rather than the more natural speech inputs. In this paper, we investigate whether a well-established text-conditioned model can be transferred to speech in a data-efficient manner. Using ALBEF as a case study, we conduct diagnostic analyses showing that a lightweight MLP-based projector effectively adapts it to speech, while preserving semantic discrimination and robustness. Motivated by these findings, we introduce Speech2Grasp, a framework for data-efficient transfer of text-conditioned grasp detection to speech. Real-world humanoid robot experiments show that Speech2Grasp outperforms cascaded ASR-based pipeline, while reducing inference latency. Our findings suggest a practical paradigm for extending established text-conditioned systems to speech.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI