日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.17350

フロンティアVLMは記憶依存型マニピュレーションのロボットポリシーになれるか

Can a Frontier VLM Serve as a Robot Policy for Memory-Dependent Manipulation?

シェア:XThreadsFacebookLINEはてブBluesky

凍結した大規模視覚言語モデルGPT-6-Astraをそのままロボットポリシーとして記憶依存型マニピュレーション16タスクで評価し、人間のスコアを上回る92.1%の成功率を達成した。

詳しい要約

1. どんなもの?

- frozen frontier VLM の GPT-6-Astra を robot policy として直接使う研究 - benchmark は memory-dependent manipulation の RoboMME - temporal, spatial, object, procedural memory の 16 タスク - 全 episode を context に保持し end-effector waypoint と gripper command を出力 - RoboMME 固有の training は行わない

2. 先行研究と比べてどこがすごい?

- 800 test episodes で成功率 92.1% - 従来報告の human score 90.5% を上回る - ただし human は oracle skill interface 使用 - best leaderboard entry 60.8% を大きく上回る - 同じ model と RoboMME-trained policy を組む hierarchical system 79.1% も上回る - 16 タスク中 13 で human score と同等以上

3. 技術・手法の肝は?

- frozen の GPT-6-Astra をそのまま robot policy として使用 - 全 episode を context に保持する memory 設計 - 出力は end-effector waypoint と gripper command - RoboMME 固有の training なし - 詳細な prompt や実装は要旨からは不明

4. どうやって有効だと検証した?

- RoboMME の 800 test episodes で評価 - 成功率 92.1% を報告 - human score 90.5%、best leaderboard 60.8%、hierarchical system 79.1% と比較 - 16 タスク中 13 で human score と同等以上 - 失敗 63 件は 2 タスクに集中し premature completion と mistimed/unintended button press が主

5. 議論はある?

- long-horizon planning, memory, end-effector control の従来の分離を曖昧にする - 単一の general-purpose model が embodied system のどこまでを担えるかという問いを提起 - 失敗の集中や原因の分析あり - 限界や一般化可能性の詳細は要旨からは不明

6. 次に読むべき論文は?

- RoboMME benchmark - hierarchical system(同じ model と RoboMME-trained policy の組み合わせ) - oracle skill interface を用いた human score の研究 - 関連手法として long-horizon planning, memory-augmented manipulation, end-effector control の既存研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jack B. Jedlicki, Amish Sethi, Heng Yang

分類: cs.RO

原文アブストラクト

We use a frozen frontier vision-language model, GPT-6-Astra, directly as the robot policy on RoboMME, a benchmark of 16 memory-dependent manipulation tasks spanning temporal, spatial, object, and procedural memory. The model keeps the whole episode in context and outputs every end-effector waypoint and gripper command, with no RoboMME-specific training. On the 800 test episodes it succeeds in 92.1%, above the previously reported human score of 90.5%, which was obtained with an oracle skill interface, and far ahead of the best leaderboard entry (60.8%) and of a hierarchical system that pairs the same model with a RoboMME-trained policy (79.1%). It matches or exceeds the human score on 13 of the 16 tasks. Its 63 failures concentrate in two tasks and are mostly premature completions and mistimed or unintended button presses. These results blur the usual division between long-horizon planning, memory and end-effector control, and raise the question of how much of this stack a single general-purpose model can take over in embodied systems. Project website: https://embodied-astra.github.io. Code, prompts and all episode logs: https://github.com/jackbjed/embodied-astra-robomme.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI