日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2507.08224

VLMをロボット向けに:低レベル手順推論の自己批判的蒸留

Making VLMs More Robot-Friendly: Self-Critical Distillation of Low-Level Procedural Reasoning

シェア:XThreadsFacebookLINEはてブBluesky

小さな視覚言語モデルが外部教師なしで自己批判・修正・検証を繰り返し、ロボット実行可能な手順計画を生成する自己改善フレームワークを提案。

詳しい要約

1. どんなもの?

- 対象: ロボットの procedural planning における Vision-language models (VLMs) の活用 - 提案: SelfReVision という軽量・スケーラブルな self-improvement framework - 特徴: 小規模 VLM が外部 supervision や teacher model なしに自身の plan を反復的に critique・revise・verify する - 目的: 人間中心の推論が欠く low-level で grounded な詳細を備えた、実行可能な plan を生成する - 用途: 推論時および継続的な fine-tuning の両方に利用可能

2. 先行研究と比べてどこがすごい?

- 先行研究の課題: LLM ベースの procedural planning は low-level で grounded な詳細を欠く - 既存 VLM 手法の制約: 高コストな大規模モデル依存、または狭い simulation 設定に限定 - 提案手法の利点: 外部 supervision・teacher model を不要とし、小規模 VLM で自己改善を実現 - 性能: 弱い base VLM を上回るだけでなく、100X のサイズのモデルをも凌駕 - 効果: 下流の embodied task における制御が改善

3. 技術・手法の肝は?

- 着想: chain-of-thought prompting と self-instruct paradigms に着想 - 仕組み: 小規模 VLM が自身の plan を反復的に critique・revise・verify する self-distillation loop - 外部依存: 外部 supervision や teacher model を必要としない - 出力: 高品質で execution-ready な plan を生成 - 活用: 生成 plan を推論時と継続的 fine-tuning の両方に使用

4. どうやって有効だと検証した?

- モデル規模: 3B から 72B までのモデルで検証 - 比較: 弱い base VLM に対する性能向上を確認 - 比較: 100X のサイズのモデルを上回る性能を確認 - 下流評価: embodied task における制御改善を確認 - 詳細な実験設定・データセット: 要旨からは不明

5. 議論はある?

- 主張: 外部 supervision なしの self-distillation で execution-ready な plan が得られる - 主張: 小規模モデルが大規模モデルを凌駕し得る - 限界や失敗ケースの議論: 要旨からは不明 - 評価の詳細や一般化可能性: 要旨からは不明

6. 次に読むべき論文は?

- chain-of-thought prompting に関する研究 - self-instruct paradigms に関する研究 - LLM を用いた robotic procedural planning の先行研究 - VLM を用いた perceptually grounded planning の既存手法 - 詳細は要旨で明示されていないため、上記関連分野の代表的研究を参照

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Chan Young Park, Jillian Fisher, Marius Memmel, Dipika Khullar, Seoho Yun, Abhishek Gupta, Yejin Choi

分類: cs.RO

原文アブストラクト

Large language models (LLMs) have shown promise in robotic procedural planning, yet their human-centric reasoning often omits the low-level, grounded details needed for robotic execution. Vision-language models (VLMs) offer a path toward more perceptually grounded plans, but current methods either rely on expensive, large-scale models or are constrained to narrow simulation settings. We introduce SelfReVision, a lightweight and scalable self-improvement framework for vision-language procedural planning. SelfReVision enables small VLMs to iteratively critique, revise, and verify their own plans-without external supervision or teacher models-drawing inspiration from chain-of-thought prompting and self-instruct paradigms. Through this self-distillation loop, models generate higher-quality, execution-ready plans that can be used both at inference and for continued fine-tuning. Using models varying from 3B to 72B, our results show that SelfReVision not only boosts performance over weak base VLMs but also outperforms models 100X the size, yielding improved control in downstream embodied tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI