日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2512.08580

心から手へ:身体性推論による目的志向のロボット制御

Mind to Hand: Purposeful Robotic Control via Embodied Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの推論能力を身体性推論と行動予測へ段階的に拡張し、二腕移動マニピュレータAstribot S1での実機評価で高い性能を示した汎用VLAモデルLumo-1を提案。

詳しい要約

1. どんなもの?

- 汎用 vision-language-action (VLA) モデル「Lumo-1」の提案 - ロボットの推論(mind)と行動(hand)の統合を目的とする - 事前学習済み vision-language models (VLMs) を基盤に embodied reasoning と action prediction へ段階的に拡張 - 最終的に structured reasoning と reasoning-action alignment を目指す - Astribot S1(bimanual mobile manipulator)での実世界評価を含む

2. 先行研究と比べてどこがすごい?

- internet-scale data で得た推論能力を物理行動に接地(grounding)する課題に取り組む - 従来の VLA と異なり推論と行動の統合・整合を明示的に扱う - 三段階 pre-training pipeline で embodied reasoning(planning, spatial understanding, trajectory prediction)を強化 - cross-embodiment robot data と vision-language data の co-training を採用 - reinforcement learning で reasoning-action consistency を洗練 - 具体的な先行研究名との比較は要旨からは不明

3. 技術・手法の肝は?

- 三段階の pre-training pipeline が中核 - 第1段階: curated vision-language data で VLM を継続事前学習し embodied reasoning を強化 - 第2段階: cross-embodiment robot data と vision-language data で co-training - 第3段階: Astribot S1 で収集した trajectory 上で reasoning process 付き action training - 最後に reinforcement learning を統合し reasoning-action consistency を改善 - semantic inference と motor control のループを閉じる設計

4. どうやって有効だと検証した?

- extensive experiments で embodied vision-language reasoning の性能向上を確認 - 実世界評価(real-world evaluations)を実施 - 多様な challenging robotic tasks で strong baselines を上回ると報告 - novel objects や environments への generalization を確認 - long-horizon tasks や strategy・concepts・space の推論を要する human-natural instructions への応答で特に優れると主張

5. 議論はある?

- 要旨からは明示的な限界や議論の詳細は不明 - reinforcement learning による reasoning-action alignment 改善の詳細分析は要旨からは不明 - cross-embodiment データの寄与や汎化範囲の議論は要旨からは不明 - 実世界タスクの範囲や評価指標の詳細は要旨からは不明

6. 次に読むべき論文は?

- vision-language-action (VLA) モデルの代表的研究(RT-2 など) - vision-language models (VLMs) の embodied 応用研究 - cross-embodiment robot learning の関連研究 - reasoning と action の alignment を扱う研究 - reinforcement learning を用いたロボット制御の関連研究 - 要旨で具体的に参照されている論文名は不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Peijun Tang, Shangjin Xie, Binyan Sun, Baifu Huang, Kuncheng Luo, Haotian Yang, Weiqi Jin, Jianan Wang

分類: cs.RO, cs.AI

原文アブストラクト

Humans act with context and intention, with reasoning playing a central role. While internet-scale data has enabled broad reasoning capabilities in AI systems, grounding these abilities in physical action remains a major challenge. We introduce Lumo-1, a generalist vision-language-action (VLA) model that unifies robot reasoning ("mind") with robot action ("hand"). Our approach builds upon the general multi-modal reasoning capabilities of pre-trained vision-language models (VLMs), progressively extending them to embodied reasoning and action prediction, and ultimately towards structured reasoning and reasoning-action alignment. This results in a three-stage pre-training pipeline: (1) Continued VLM pre-training on curated vision-language data to enhance embodied reasoning skills such as planning, spatial understanding, and trajectory prediction; (2) Co-training on cross-embodiment robot data alongside vision-language data; and (3) Action training with reasoning process on trajectories collected on Astribot S1, a bimanual mobile manipulator with human-like dexterity and agility. Finally, we integrate reinforcement learning to further refine reasoning-action consistency and close the loop between semantic inference and motor control. Extensive experiments demonstrate that Lumo-1 achieves significant performance improvements in embodied vision-language reasoning, a critical component for generalist robotic control. Real-world evaluations further show that Lumo-1 surpasses strong baselines across a wide range of challenging robotic tasks, with strong generalization to novel objects and environments, excelling particularly in long-horizon tasks and responding to human-natural instructions that require reasoning over strategy, concepts and space.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI