日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2606.18363

グアバ:身体的操作のための効果的で普遍的なハーネス

Guava: An Effective and Universal Harness for Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語モデルを外部モジュールと組み合わせるハーネスフレームワーク「Guava」を提案し、反復的な知覚-推論-行動ループ、意味的アクション抽象化、マルチモーダル観測が重要であることを示した。シミュレーションで収集した少数の軌道から4Bモデルへの蒸留を行い、実世界でも高い性能と汎化を達成した。

詳しい要約

1. どんなもの?

- 大規模 vision-language データで学習した language models を embodied agents として活用するための harness フレームワーク Guava を提案。 - embodied tool use を通じて、高レベル推論と知覚・計画・制御の外部モジュールを組み合わせる。 - agent workflows、action spaces、observation spaces の設計空間を体系的に探索。 - 効果的な embodied agents の3要素として、iterative perception-reasoning-action loops、semantic action abstractions、multimodal observations を同定。 - 4B open-source model に embodied manipulation 能力を蒸留する end-to-end training pipeline を開発。 - 2K 未満の simulation 軌道のみで学習し、simulation と real-world…

2. 先行研究と比べてどこがすごい?

- end-to-end vision-language-action systems に対する代替として、harness による tool use を提示。 - 従来は効果的な harness の要件や、多様な reasoning models での embodied 能力の引き出し度合いが不明だった。 - Guava は設計空間を体系的に探索し、3つの鍵要素を特定。 - 小規模モデルでも設計原則が普遍か検証するため、4B open-source model を 2K 未満の simulation 軌道で蒸留。 - frontier proprietary models に匹敵する性能を、simulation と real-world で示し、unseen objects、novel instructions、long-horizon tasks への強い汎化を実現。 - モデル非依存のスケーラブルなインターフェースとして harness が機能する可能性を示唆。

3. 技術・手法の肝は?

- embodied tool use のための harness フレームワーク Guava を構築。 - agent workflows、action spaces、observation spaces の設計空間を体系的に探索。 - 鍵要素: iterative perception-reasoning-action loops、semantic action abstractions、multimodal observations。 - 4B open-source model に embodied manipulation 能力を蒸留する end-to-end training pipeline を開発。 - 学習データは simulation で収集した 2K 未満の trajectories のみ。 - 高レベル推論と外部モジュール(知覚・計画・制御)を組み合わせる。

4. どうやって有効だと検証した?

- simulation と real-world environments の両方で実験。 - frontier proprietary models と比較して遜色ない性能を確認。 - unseen objects、novel instructions、long-horizon tasks への強い汎化を検証。 - 4B open-source model が 2K 未満の simulation 軌道で embodied manipulation 能力を獲得できることを実証。 - 具体的な評価指標やベースラインの詳細は要旨からは不明。

5. 議論はある?

- 効果的な embodied agents の設計原則が小規模モデルにも普遍かという問いを提起。 - harness が scalable で model-agnostic な embodied manipulation のインターフェースになり得ると主張。 - 最小限の学習データで compact open-source models に強い emergent embodied capabilities を付与可能と示唆。 - 限界や今後の課題、倫理的影響についての議論は要旨からは不明。

6. 次に読むべき論文は?

- end-to-end vision-language-action systems(関連手法として一般名で言及) - 大規模 vision-language データで学習した language models を embodied agents に活用する研究 - embodied tool use に関する既存研究 - 具体的な論文名は要旨に明記されていないため、同分野の定番として vision-language-action models や embodied AI のサーベイを参照。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Haowen Liu, Xirui Li, Shaoxiong Yao, Peng Shi, Tianyi Zhou, Jia-Bin Huang, Furong Huang, Jiayuan Mao

分類: cs.RO, cs.AI

原文アブストラクト

Language models trained on large-scale vision-language data have demonstrated strong potential for embodied agents. Harnessing models through embodied tools use offers a promising alternative to end-to-end vision-language-action systems by combining high-level reasoning with external modules for perception, planning, and control. However, it remains unclear what makes an effective harness for embodied manipulation, and to what extent such a harness can unlock embodied capabilities in a wide range of reasoning models. In this work, we present Guava, a harness framework for embodied tool use developed through systematic exploration of the design space of agent workflows, action spaces, and observation spaces. Our study identifies three key ingredients for effective embodied agents: iterative perception-reasoning-action loops, semantic action abstractions, and multimodal observations. To understand whether these design principles are universal even to small models, we develop an end-to-end training pipeline that distills embodied manipulation capabilities into a 4B open-source model using fewer than 2K trajectories collected entirely in simulation. Experimental results in both simulation and real-world environments show performance comparable to frontier proprietary models while exhibiting strong generalization to unseen objects, novel instructions, and long-horizon tasks. Results suggest that a well-designed harness can serve as a scalable, model-agnostic interface for embodied manipulation, enabling strong emergent embodied capabilities in compact open-source models with minimal training data.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI