ジェスチャー対応視覚言語行動モデルGesVLA：埋め込み表現による操作精度の向上

- Vision-Language-Action (VLA) モデルに gesture を並列の指示モダリティとして導入した Gesture-aware Vision-Language-Action model (GesVLA) を提案。 - 既存 VLA は textual instructions に依存し、類似物体が複数ある複雑シーンでの spatial ambiguity の解決が困難。 - gesture features を latent space に直接エンコードし、high-level reasoning と low-level action generation の両方に参加させる。 - dual-VLM architecture で gesture representations と action policies を密結合。 - 実世界の複数ロボットタスクで評価。

- 既存 VLA は textual instructions 中心で、複数類似物体のある複雑シーンの spatial ambiguity に弱い。 - 本研究は gesture を並列指示モダリティとして追加し、この曖昧性に対処。 - gesture features を latent space に直接エンコードし、high-level reasoning と low-level action generation の双方に参加させる点が従来と異なる。 - dual-VLM architecture により gesture representations と action policies を密結合。 - データ面でも scalable な gesture data generation pipeline を構築。

- gesture features を latent space に直接エンコードし、high-level reasoning と low-level action generation に参加させる。 - dual-VLM architecture を採用し、gesture representations と action policies を密結合。 - データ生成: 実世界シーン画像に hand models をレンダリングする scalable な gesture data generation pipeline。 - sim-to-real visual gap を低減しつつ、多様な motion patterns と対応する pointing annotations を持つデータを生成。 - two-stage training strategy で gesture perception と action prediction の能力を獲得。

- 複数の実世界ロボットタスクで評価。 - 検証用の制御された block manipulation task を含む。 - product selection や produce selection などより実用的なシナリオも含む。 - 結果として gesture の導入が target grounding accuracy と human-robot interaction efficiency を一貫して改善。 - 特に複雑で clutter した環境で有効。

- 要旨からは不明。 - 明示的な limitation や failure case、議論の詳細は要旨に記載なし。

- 要旨で参照/比較されている個別研究は明示されていない。 - 関連手法として Vision-Language-Action (VLA) モデル、dual-VLM architecture、gesture-based human-robot interaction が挙げられる。 - 同分野の定番として RT-1、RT-2、OpenVLA などが考えられるが、要旨での参照は不明。