日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.33718

RoboJev: ロボットタスク成功判定のためのオープンな視覚言語ジャッジ

RoboJev: An Open Vision-Language Judge for Robot Success Detection

シェア:XThreadsFacebookLINEはてブBluesky

ロボット操作動画からタスク成功/失敗を判定するオープンウェイトの視覚言語モデルRoboJev-27Bを開発し、同一ロボットで95.2%のバランス精度、未知のロボットでも高い汎化性能を示した。

詳しい要約

1. どんなもの?

- ロボット操作動画のタスク成功/失敗を判定するオープンウェイトの vision-language model「RoboJev-27B」 - 入力: タスク指示文、操作試行の10フレーム、(あれば)補助カメラの最終フレーム - 出力: 成功/失敗の確率 - JEV-27B-VL の変種で、推論コードと評価データも公開 - 20,628件の予測を29の model/protocol エントリとして公開し再現可能なベンチマークを提供

2. 先行研究と比べてどこがすごい?

- 成功判定を明示しない多くのロボット操作動画に対し、オープンウェイトで成功検出を行う点 - 同一ロボット(SO-101)の held-out 268エピソードで balanced accuracy 95.2%、AUROC 0.993 - 未知のラボ/ロボットの459エピソードでも AUROC 0.890、コミュニティ収集の135エピソードで accuracy 93.3% と汎化 - 強い API ベースの frontier VLMs とも比較(ただし入力フレーム数が異なり strictly like-for-like ではない)

3. 技術・手法の肝は?

- JEV-27B-VL に対し、language model のみ rank-32 LoRA adapter で学習(vision encoder は frozen) - 52,598 の episode records を使用 - 研究データにのみ適用する source-specific KL penalty で元モデルに近い予測へ anchor - calibrated two-token readout により single forward pass で成功/失敗確率を出力

4. どうやって有効だと検証した?

- 同一ロボット(SO-101)の held-out 268エピソードで評価: balanced accuracy 95.2%、AUROC 0.993 - 未知のラボ/ロボットの459エピソードで AUROC 0.890 - 明確にラベル付けされたコミュニティ収集の135エピソードで accuracy 93.3% - 推論コストも報告: H100 単体で中央値0.26秒/エピソード、$2.69/GPU-hour 換算で1,000成功予測あたり約$0.19(メディア処理・serving費用除く)

5. 議論はある?

- frontier VLMs との比較は、RoboJev-27B がより多くのフレームを入力されるため strictly like-for-like ではないと明記 - base model は同一入力で未知ラボ/ロボット subset において AUROC 0.900 を達成しており、RoboJev-27B の AUROC 0.890 と近い - コストはメディア処理と serving 費用を含まない - その他の限界や議論は要旨からは不明

6. 次に読むべき論文は?

- JEV-27B-VL(ベースモデル) - LoRA adapter を用いた手法 - API ベースの frontier VLMs(比較対象) - SO-101 ロボット関連のデータセット/研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Josef Liyanjun Chen

分類: cs.RO, cs.LG

原文アブストラクト

Many robot manipulation videos do not indicate whether the task was successfully completed. RoboJev-27B is an open-weight vision-language model that takes a task instruction, 10 frames of a manipulation attempt, and (if available) final frames from auxiliary cameras and predicts whether the robot accomplished the task. RoboJev-27B is a variant of JEV-27B-VL, trained with a rank-32 LoRA adapter on the language model only (keeping the vision encoder frozen) using 52,598 episode records. It also uses a source-specific KL penalty that applies only to research data, anchoring predictions closer to the original model on those sources. It uses a calibrated two-token readout that outputs success/failure probabilities in a single forward pass. On 268 held-out episodes of the same robot model (SO-101), RoboJev-27B attains 95.2% balanced accuracy and 0.993 AUROC. It also generalises to episodes collected by unseen labs/robots (AUROC = 0.890 over 459 episodes) as well as to clearly labelled community-collected episodes (accuracy = 93.3% over 135 episodes), where the base model attains an AUROC = 0.900 on the unseen-lab/robot subset with the same inputs. It takes 0.26 seconds per episode (median, serial) to infer on a single H100, which is about \$0.19 per 1,000 success predictions at \$2.69 per GPU-hour (not including media processing and serving costs). RoboJev-27B is released together with its inference code, along with a transparent evaluation: 20,628 predictions organized into 29 model/protocol entries are made available to facilitate browsing and to enable reproducible benchmarking of success detection. We also compare against strong API-based frontier VLMs, which take in fewer input frames (4 images from the primary camera only); note that this comparison is not strictly like-for-like because RoboJev-27B is given more frames at inference.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI