日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2508.14160

RynnEC:MLLMを身体性認知の世界へ

RynnEC: Bringing MLLMs into Embodied World

シェア:XThreadsFacebookLINEはてブBluesky

汎用視覚言語モデルに領域エンコーダとマスクデコーダを組み込み、領域中心の動画理解で物体属性・セグメンテーション・空間推論を高精度化した身体性認知向けMLLMを提案。

詳しい要約

1. どんなもの?

- どんなもの? - embodied cognition 向けの video multimodal large language model「RynnEC」 - 汎用 vision-language foundation model を基盤に構築 - region encoder と mask decoder を組み込み、region-level の video interaction を可能にする - 物体属性理解、object segmentation、spatial reasoning で state-of-the-art を達成すると主張 - コード・checkpoint・benchmark を公開

2. 先行研究と比べてどこがすごい?

- 先行研究と比べてどこがすごい? - 汎用 vision-language foundation model に region encoder と mask decoder を統合し、region-level の video interaction を実現 - compact な architecture ながら object property understanding、object segmentation、spatial reasoning で state-of-the-art - embodied agent の brain 向けに region-centric video paradigm を概念的に提示 - 詳細な物理世界の知覚と precise な interaction を可能にする点を主張 - 具体的な比較対象の先行研究名は要旨からは不明

3. 技術・手法の肝は?

- 技術や手法の肝はどこ? - 汎用 vision-language foundation model を基盤とする - region encoder と mask decoder により region-level の video interaction を実現 - region-centric video paradigm を embodied agent の cognition に適用 - 3D データセットの annotation 不足を緩和するため、egocentric video ベースの embodied cognition data 生成 pipeline を提案 - region-centered な評価用の RynnEC-Bench を導入

4. どうやって有効だと検証した?

- どうやって有効だと検証した? - object property understanding、object segmentation、spatial reasoning で state-of-the-art 性能を達成したと報告 - region-centered な embodied cognitive capabilities を評価する RynnEC-Bench を導入 - 具体的な dataset 名、実験設定、比較手法、数値は要旨からは不明

5. 議論はある?

- 議論はある? - 3D データセットの annotation 不足を egocentric video ベースの pipeline で緩和する点を課題として提示 - embodied agent 向け general-purpose cognitive core の発展と多様な embodied task への generalization を期待 - 限界、失敗事例、倫理面、計算コストなどの議論は要旨からは不明

6. 次に読むべき論文は?

- 次に読むべき論文は? - 要旨で参照・比較されている個別研究は明示されていない - 関連手法として vision-language foundation model、region encoder、mask decoder、object segmentation、spatial reasoning に関する研究 - embodied cognition 向けの video multimodal large language model や egocentric video を用いたデータ生成に関する研究 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ronghao Dang, Yuqian Yuan, Yunxuan Mao, Kehan Li, Jiangpin Liu, Zhikai Wang, Xin Li, Fan Wang, Deli Zhao

分類: cs.CV, cs.AI, cs.RO

原文アブストラクト

We introduce RynnEC, a video multimodal large language model designed for embodied cognition. Built upon a general-purpose vision-language foundation model, RynnEC incorporates a region encoder and a mask decoder, enabling flexible region-level video interaction. Despite its compact architecture, RynnEC achieves state-of-the-art performance in object property understanding, object segmentation, and spatial reasoning. Conceptually, it offers a region-centric video paradigm for the brain of embodied agents, providing fine-grained perception of the physical world and enabling more precise interactions. To mitigate the scarcity of annotated 3D datasets, we propose an egocentric video based pipeline for generating embodied cognition data. Furthermore, we introduce RynnEC-Bench, a region-centered benchmark for evaluating embodied cognitive capabilities. We anticipate that RynnEC will advance the development of general-purpose cognitive cores for embodied agents and facilitate generalization across diverse embodied tasks. The code, model checkpoints, and benchmark are available at: https://github.com/alibaba-damo-academy/RynnEC

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI