日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2609.28530

身体を知る:VLMによる直接的・自己改善的なロボット制御のためのハーネス

Know Your Body: A Harness for Direct and Self-Improving Robot Control with VLMs

シェア:XThreadsFacebookLINEはてブBluesky

視覚言語モデルの重みを固定したまま、ロボットの身体構造に関する知識を明示化・更新可能にし、行動選択と過去の経験解釈を改善するフレームワークKnowBodyを提案。実機4タスクで成功率75%を達成。

詳しい要約

1. どんなもの?

- 汎用VLMをロボット制御に活用するためのハーネス「KnowBody」を提案。 - モデルの重みを固定したまま、行動に関連する身体関係を明示的・問い合わせ可能・修正可能にする。 - オフタスクの軌道から部分的な身体モデルを初期化し、行動選択と過去の相互作用の解釈を導く。 - 新しい証拠でモデルを洗練し、修正された身体推定に依存する知識を再利用前に再確認する。

2. 先行研究と比べてどこがすごい?

- 従来のVLMはタスク目標を理解できても、特定のロボットの運動や機能部位が意図した効果を生む仕組みを理解できない。 - KnowBodyは身体関係を明示的に扱うことで、ネイティブハーネスより高い完了率(75% vs 25%)を達成。 - 成功した試行ではプランナーのラウンド数も少なく、永続的更新により成功を重ねるごとにラウンド数が29-53%減少。

3. 技術・手法の肝は?

- モデル重みを凍結したまま、身体モデルをハーネスとして外部化。 - オフタスク軌道から部分的身体モデルを初期化し、行動選択と相互作用解釈に利用。 - 新しい証拠に基づいて身体モデルを更新し、更新された身体推定に依存する知識を再チェックしてから再利用。

4. どうやって有効だと検証した?

- 4つの実ロボットタスクで32回の固定予算試行を実施。 - 初期化されたKnowBodyは75%の完了率、ネイティブハーネスは25%。 - 両方で完了したタスクでは、成功試行においてプランナーラウンド数が少ない。 - 永続的更新を有効にすると、最初から5回目の成功記録までにプランナーラウンド数が29-53%減少。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。関連手法としてVision-Language Models (VLMs)やロボット制御のハーネスに関する研究が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Zeyu Lou, Yanhong Zeng, Yong Wang, Chenyang Si

分類: cs.RO

原文アブストラクト

A general-purpose vision-language model can understand a task goal without knowing how a particular robot's motion and functional parts produce the intended effect. We introduce KnowBody, a harness that makes these action-relevant body relations explicit, queryable, and revisable while keeping the model weights frozen. Initialized from one off-task trajectory, a partial body model guides action selection and the interpretation of past interactions. New evidence refines the model, and knowledge dependent on revised body estimates is rechecked before reuse. Across 32 fixed-budget trials on four real-robot tasks, initialized KnowBody achieves 75% completion versus 25% for the native harness and requires fewer planner rounds on successful trials in tasks completed by both. With persistent updates enabled, planner rounds decrease by 29-53% from the first to the fifth recorded success.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI