日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2505.19237

マルチモーダル大規模言語モデル駆動ロボットにおける感覚運動的自己認識

Sensorimotor Self-Recognition in Multimodal Large Language Model-Driven Robots

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダルLLMを自律移動ロボットに統合し、感覚運動経験を通じて自己認識(自己同定や予測的認識)を獲得できるかを調査した。

詳しい要約

1. どんなもの?

- 本研究は、multimodal LLM を組み込んだ自律移動ロボットが、sensorimotor experience を通じて self-recognition を獲得できるかを調べるもの。 - self-recognition を minimal self の基盤と位置づけ、環境内での自己身体の内部表現の維持を指す。 - ロボットは environmental awareness、self-identification、predictive awareness を示し、自身がロボットであることや運動特性を推論できると報告。

2. 先行研究と比べてどこがすごい?

- 先行研究では LLM が multimodal 情報を統合する課題で人間並みの性能を達成し、非人間プラットフォーム上の AI agent の embodiment への関心が高まっている。 - 本研究は、multimodal LLM が sensorimotor experience を通じて self-recognition を発達させ得るかを自律移動ロボットで検討する点が新しい。 - 具体的な比較対象や性能差は要旨からは不明。

3. 技術・手法の肝は?

- multimodal LLM を自律移動ロボットに統合し、sensorimotor experience を与える構成。 - Structural equation modeling により、sensory integration が minimal self の異なる次元に与える影響と、past-present memory との協調、self-identification を駆動する階層的な内部連関を分析。 - センサ入力の ablation tests を実施し、センサ間の補償的相互作用と structured memory・episodic memory の必須性を確認。

4. どうやって有効だと検証した?

- ロボットが environmental awareness、self-identification、predictive awareness を示すことを確認。 - Structural equation modeling による内部連関の分析で有効性を検証。 - センサ入力の ablation tests により、センサ間の補償的相互作用と structured memory・episodic memory の役割を確認。

5. 議論はある?

- 適切な外界と自己に関する sensory information があれば、multimodal LLM が embodied cognitive systems における artificial selfhood への扉を開くと論じている。 - センサ間の補償的相互作用や memory の重要性が示唆される。 - 限界や今後の課題についての具体的な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない。 - 関連手法として multimodal LLM、embodied cognitive systems、minimal self、sensorimotor experience に関する研究が次に読むべき候補。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Iñaki Dellibarda Varela, Pablo Romero-Sorozabal, Diego Torricelli, Gabriel Delgado-Oleas, Jose Ignacio Serrano, Maria Dolores del Castillo Sobrino, Eduardo Rocon, Manuel Cebrian

分類: cs.AI, cs.RO

原文アブストラクト

Self-recognition -- the ability to maintain an internal representation of one's own body within the environment -- underpins intelligent, autonomous behavior. As a foundational component of the minimal self, self-recognition provides the initial substrate from which higher forms of self-awareness may eventually emerge. Recent advances in large language models achieve human-like performance in tasks integrating multimodal information, raising growing interest in the embodiment capabilities of AI agents deployed on nonhuman platforms such as robots. We investigate whether multimodal LLMs can develop self-recognition through sensorimotor experience by integrating an LLM into an autonomous mobile robot. The system exhibits robust environmental awareness, self-identification, and predictive awareness, enabling it to infer its robotic nature and motion characteristics. Structural equation modeling reveals how sensory integration influences distinct dimensions of the minimal self and their coordination with past-present memory, as well as the hierarchical internal associations that drive self-identification. Ablation tests of sensory inputs demonstrate compensatory interactions among sensors and confirm the essential role of structured and episodic memory. Given appropriate sensory information about the world and itself, multimodal LLMs open the door to artificial selfhood in embodied cognitive systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI