日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作arXiv:2605.18556

Key-Gram: 身体化操作のための拡張可能な世界知識

Key-Gram: Extensible World Knowledge for Embodied Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語由来の世界知識を視覚状態推論から分離する条件付きメモリフレームワークKey-Gramを提案し、指示をタスク固有のキーグラムに分解して外部メモリから検索・注入することで、バックボーンの視覚推論能力を保ちつつ知識拡張を容易にした。

詳しい要約

1. どんなもの?

- 指示文から言語知識を分離し外部メモリに保持する条件付きメモリフレームワーク Key-Gram を提案。 - 指示を task-specific key-gram に分解し、決定論的ハッシュ参照で静的な言語 prior を取得。 - 取得したエントリを context-aware gating と軽量畳み込み融合で選択した隠れ層に注入。 - backbone は視覚推論と行動推論に容量を集中でき、指示知識は拡張可能な外部メモリに保存。 - 論理メモリテーブルは学習時に分割可能、O(1) 参照のため推論時に host memory に配置可能。

2. 先行研究と比べてどこがすごい?

- 既存の vision-language-action policies や world-action models は言語知識と視覚計算を共有 backbone や条件付け経路で結合し、modality competition や backbone 更新依存の知識拡張を招く。 - Key-Gram は言語由来の世界知識と視覚状態推論を分離し、外部メモリで再利用可能な指示知識を扱う点が異なる。 - これにより backbone 更新なしで知識拡張が可能となり、構成的一般化・転移・実世界操作を改善。

3. 技術・手法の肝は?

- 指示を task-specific key-gram に分解するメモリモジュールが中核。 - 決定論的 hashed lookup で静的な言語 prior を取得。 - context-aware gating と軽量 convolutional fusion で選択した隠れ層に注入。 - 論理メモリテーブルは学習時に分割可能、O(1) lookup で推論時に host memory に効率的配置。 - backbone は視覚推論と行動推論に主要容量を割り当てる設計。

4. どうやって有効だと検証した?

- RoboTwin2.0、LIBERO/LIBERO-Plus、実世界 dual-arm manipulation で評価。 - π0 と π0.5 backbone を一貫して改善。 - RoboTwin2.0 で平均相対利得 29.5%/9.9%。 - LIBERO-Plus transfer で target-domain fine-tuning なしに 35.8%/4.5%。 - 実世界 long-horizon タスクで 15.4%/8.1%。

5. 議論はある?

- 外部化された言語メモリが構成的一般化、転移、実世界操作を改善する有効かつ拡張可能な機構であると主張。 - 限界や失敗事例、計算コストの詳細な議論は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: π0、π0.5、RoboTwin2.0、LIBERO/LIBERO-Plus。 - 関連手法として vision-language-action policies、world-action models が挙げられている。 - 同分野の定番として vision-language-action models、world models を次に読む候補として挙げる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jingjing Fan, Siyuan Li, Botao Ren, Zhidong Deng

分類: cs.RO, cs.AI

原文アブストラクト

Embodied control increasingly requires models to follow compositional language instructions while reasoning over dynamic visual states. However, current vision-language-action policies and world-action models often couple linguistic knowledge with visual computation in a shared backbone or conditioning pathway, leading to modality competition and making knowledge extension dependent on backbone updates. In this paper, we introduce Key-Gram, a conditional-memory framework that separates language-derived world knowledge from visual-state reasoning for embodied control. At its core is a memory module that decomposes an instruction into task-specific key-grams, retrieves static linguistic priors through deterministic hashed lookup, and injects the retrieved entries into selected hidden layers through context-aware gating and lightweight convolutional fusion. This design allows the backbone to devote its main capacity to visual reasoning and action inference, while reusable instruction knowledge is stored in an extensible external memory. The logical memory table can be conveniently partitioned during training and, due to its $O(1)$ lookup pattern, efficiently placed on host memory during inference. Across RoboTwin2.0, LIBERO/LIBERO-Plus, and real-world dual-arm manipulation, Key-Gram consistently improves both $\pi_{0}$ and $\pi_{0.5}$ backbones, with average relative gains of $29.5\%/9.9\%$ on RoboTwin2.0, $35.8\%/4.5\%$ on LIBERO-Plus transfer without target-domain fine-tuning, and $15.4\%/8.1\%$ on real-world long-horizon tasks. These results demonstrate that externalized linguistic memory provides an effective and extensible mechanism for improving compositional grounding, transfer, and real-world manipulation.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI