日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.10371

MLLMベースの視覚強化学習による少数ショット視覚的人間活動認識

Few-shot Vision-based Human Activity Recognition with MLLM-based Visual Reinforcement Learning

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルに視覚強化学習を適用し、少数のサンプルで人間活動認識の汎化性能と説明可能性を向上させる手法FAVORを提案。

詳しい要約

1. どんなもの?

- 提案手法はFAVORと呼ばれるfew-shot human activity recognition (HAR) 手法。 - Multimodal Large Language Model (MLLM) を用い、visual reinforcement learningを訓練に組み込む。 - 対象は人間活動画像のfew-shot認識であり、推論段階での説明可能性も目指す。

2. 先行研究と比べてどこがすごい?

- 従来のHARはfine-tuningデータが限られる状況で苦戦。 - 大規模推論モデルにおける強化学習は出力フィードバックからの学習を可能にするが、マルチモーダルHAR分野では未探索。 - 本研究はvisual reinforcement learningをHARに拡張し、few-shot認識の汎化能力と推論能力を向上させる点が新しい。

3. 技術・手法の肝は?

- MLLMに人間活動画像を入力し、複数の候補応答(reasoning tracesと最終回答を含む)を生成させる。 - 各応答をreward functionsで評価し、Group Relative Policy Optimization (GRPO) アルゴリズムでMLLMを最適化。 - これにより少数サンプルでHARに適応可能とする。

4. どうやって有効だと検証した?

- 4つのhuman activity recognitionデータセットと5つの異なる設定で広範な実験を実施。 - 提案手法の優位性を示す結果が得られたと要旨に記載。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- Group Relative Policy Optimization (GRPO) の原論文。 - MLLMを用いたfew-shot HARの関連研究(具体的名称は要旨からは不明)。 - Visual reinforcement learningの基礎手法。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenqi Zheng, Yutaka Arakawa

分類: cs.RO

原文アブストラクト

Reinforcement learning in large reasoning models enables learning from feedback on their outputs, making it particularly valuable in scenarios where fine-tuning data is limited. However, its application in multi-modal human activity recognition (HAR) domains remains largely underexplored. Our work extends reinforcement learning to the human activity recognition domain with multimodal large language models. By incorporating visual reinforcement learning in the training process, the model's generalization ability on few-shot recognition can be greatly improved. Additionally, visual reinforcement learning can enhance the model's reasoning ability and enable explainable analysis in the inference stage. We name our few-shot human activity recognition method with visual reinforcement learning FAVOR. Specifically, our approach first utilizes a multimodal large language model (MLLM) to generate multiple candidate responses for the human activity image, each containing reasoning traces and final answers. These responses are then evaluated using reward functions, and the MLLM model is subsequently optimized using the Group Relative Policy Optimization (GRPO) algorithm. In this way, the MLLM model can be adapted to human activity recognition with only a few samples. Extensive experiments on four human activity recognition datasets and five different settings demonstrate the superiority of the proposed method.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI