日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLA/手話認識/ロボット操作arXiv:2606.20857

SignVLA: 注意機構付きLSTMと視覚-言語-行動モデルによるリアルタイム手話ガイド型ロボット操作

SignVLA: Real-Time Sign Language-Guided Robotic Manipulation via Attention LSTM and Vision-Language-Action Models

シェア:XThreadsFacebookLINEはてブBluesky

手話をリアルタイムで認識し、ロボット操作の指示に変換するVLAフレームワークを提案。聴覚障害者などへのアクセシビリティ向上を目指す。

詳しい要約

1. どんなもの?

- 手話ガイドによるロボット操作のフレームワーク「SignVLA」を提案。 - 視覚的手話ジェスチャを意味的命令に変換するモジュール式sign-to-textインタフェースを導入。 - 下流のVLAポリシーと組み合わせ、手話入力で操作タスクを実行。 - deaf、hard-of-hearing、speech-impairedユーザのアクセシビリティ向上を目的とする。

2. 先行研究と比べてどこがすごい?

- 既存のVLAインタフェースはspeechやtext入力に依存し、手話ユーザのアクセスを制限。 - SignVLAは手話を入力とする初のreal-time VLAフレームワーク。 - 軽量なtemporal sign recognitionをアクセシビリティ層として活用する点が新しい。

3. 技術・手法の肝は?

- ビデオストリームからhand landmark featuresを抽出。 - attention-enhanced LSTMで時系列ジェスチャ動態を捉え、alphabet-およびcommand-levelの手話認識を実施。 - temporal stabilization moduleでreal-timeインタラクション時の予測一貫性を改善。 - 生成された命令列を下流のVLAポリシーに渡し、sign-conditionedなロボット操作を実現。

4. どうやって有効だと検証した?

- 実験結果により、安定したreal-time手話認識を実証。 - 手話入力に駆動された操作タスクの正常な実行を確認。 - 具体的な評価指標やデータセットは要旨からは不明。

5. 議論はある?

- 軽量なtemporal sign recognitionがマルチモーダル身体知の実用的アクセシビリティ層として有効である可能性を示唆。 - 限界や課題、倫理的議論については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法としてVision-Language-Action (VLA) models、attention-enhanced LSTM、hand landmark features、temporal stabilization moduleが挙げられる。 - 同分野の定番としてsign language recognitionやhuman-robot interactionの研究が考えられるが、具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ningwei Bai, Xinyu Tan, Harry Gardner, Zhengyang Zhong, Liuhaichen Yang, Luoyu Zhang, Zhekai Duan, Monkgogi Galeitsiwe, Zezhi Tang

分類: cs.AI, cs.LG, cs.RO

原文アブストラクト

Vision-Language-Action (VLA) models enable robots to execute manipulation tasks from natural-language instructions grounded in visual observations. However, existing VLA interfaces primarily rely on speech or text input, limiting accessibility for deaf, hard-of-hearing, and speech-impaired users. We present SignVLA, a real-time sign-language-guided VLA framework for accessible human-robot interaction. The system introduces a modular sign-to-text interface that converts visual sign gestures into semantic instructions compatible with downstream VLA policies. Given video streams, SignVLA extracts hand landmark features and employs an attention-enhanced Long Short-Term Memory (LSTM) network to capture temporal gesture dynamics for alphabet- and command-level sign recognition. A temporal stabilization module further improves prediction consistency in real-time interaction settings.The generated instruction sequence is then passed to a downstream VLA policy for sign-conditioned robotic manipulation. Experimental results demonstrate stable real-time sign recognition and successful execution of manipulation tasks driven by sign-language inputs. Our findings suggest that lightweight temporal sign recognition can serve as an effective and practical accessibility layer for multimodal embodied intelligence.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI