日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLM/HRIarXiv:2603.03942

社会的認識を持つロボットのための軽量視覚推論

Lightweight Visual Reasoning for Socially-Aware Robots

シェア:XThreadsFacebookLINEはてブBluesky

VLMのLLMと視覚エンコーダ間のフィードバックモジュールを導入し、テキスト文脈でシーンを再解釈することで、ナビゲーションや意図認識などのロボットタスクの性能を向上させた。

詳しい要約

1. どんなもの?

- 社会的な人間環境で動作するロボット向けの軽量な視覚推論手法を提案。 - Vision-Language Models (VLMs) の LLM と vision encoder 間のフィードバックループを閉じる言語-to-視覚フィードバックモジュールを導入。 - ロボット中心の3タスク(Habitatでのナビゲーション、Mementos-Roboticsでの逐次シーン記述、HRIデータセットでの人間意図認識)で評価。

2. 先行研究と比べてどこがすごい?

- 従来のVLMsはマルチモーダルな人間-ロボットインタラクション (HRI) の複雑さに対応するのが限定的。 - 提案手法は追加パラメータが3%未満と軽量でありながら、Qwen 2.5 (7B) でナビゲーション距離を3.3%改善、記述スコアを+0.057、意図認識精度を+2.93%向上。 - Gemma 3 (4B) と LLaVA OV 1.5 (4B) ではナビゲーション結果は混在するが、他の2タスクで改善(+0.111, +0.055 および +10.81%, +4.79%)。

3. 技術・手法の肝は?

- 言語-to-視覚フィードバックモジュールが、画像トークンの隠れ状態をゲート付きMulti-Layer Perceptron (MLP) を通してエンコーダ入力に戻す。 - これにより、テキストコンテキストの下でシーンを再解釈する2回目のパスを促す。 - LLMとvision encoderの間のループを閉じることで、視覚推論を強化。

4. どうやって有効だと検証した?

- 3つのロボット中心タスクで評価:Habitatでのナビゲーション、Mementos-Roboticsでの逐次シーン記述、独自のHRIデータセットでの人間意図認識。 - Qwen 2.5 (7B) でナビゲーション距離3.3%改善、記述スコア+0.057、意図認識精度+2.93%向上。 - Gemma 3 (4B) と LLaVA OV 1.5 (4B) ではナビゲーション結果は混在するが、記述と意図認識で改善。

5. 議論はある?

- 提案手法は軽量で追加パラメータが3%未満と効率的。 - 一部のモデル(Gemma 3, LLaVA OV 1.5)ではナビゲーション結果が混在しており、一般化やタスク依存性について議論の余地がある。 - 要旨からは、他の側面(例:計算コスト、リアルタイム性、他のロボットタスクへの適用)に関する議論は不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Vision-Language Models (VLMs)、Qwen 2.5、Gemma 3、LLaVA OV 1.5。 - 関連手法:LLMとvision encoderのフィードバック、ゲート付きMLP。 - 同分野の定番:Vision-Language Models for robotics, Human-Robot Interaction (HRI), Habitat, Mementos-Robotics。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alessio Galatolo, Ronald Cumbal, Alexandros Rouchitsas, Katie Winkle, Didem Gürdür Broo, Ginevra Castellano

分類: cs.RO

原文アブストラクト

Robots operating in shared human environments must not only navigate, interact, and detect their surroundings, they must also interpret and respond to dynamic, and often unpredictable, human behaviours. Although recent advances have shown promise in enhancing robotic perception and instruction-following using Vision-Language Models (VLMs), they remain limited in addressing the complexities of multimodal human-robot interactions (HRI). Motivated by this challenge, we introduce a lightweight language-to-vision feedback module that closes the loop between an LLM and the vision encoder in VLMs. The module projects image-token hidden states through a gated Multi-Layer Perceptron (MLP) back into the encoder input, prompting a second pass that reinterprets the scene under text context. We evaluate this approach on three robotics-centred tasks: navigation in a simulated environment (Habitat), sequential scene description (Mementos-Robotics), and human-intention recognition (our HRI dataset). Results show that our method improves Qwen 2.5 (7B) by $3.3\%$ (less distance), $+0.057$ description score, and $+2.93\%$ accuracy, with less than $3\%$ extra parameters; Gemma 3 (4B) and LLaVA OV 1.5 (4B) show mixed navigation results but gains $+0.111,+0.055$ and $+10.81\%,+4.79\%$ on the latter two tasks. Code is available at https://github.com/alessioGalatolo/VLM-Reasoning-for-Robotics

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI