RoboReason：ロボティクス向けVLM推論を強化するスケーラブルなデータ生成

- ロボット操作パイプラインに組み込む VLM の推論能力を、実機評価に代えて測る枠組みと学習データ生成法の提案。 - 実ロボットの stereo camera と wrist camera の画像を用い、空間・時間順序付けの3課題で評価。 - 言語記述に条件づけたシャッフルフレームの並べ替え - カメラからの距離に基づく奥行き順の物体並べ替え - ピクセル座標での左から右への物体並べ替え - 集合サイズを変えて難易度を調整可能。 - scalable な自律データ生成 pipeline も提案。

- 実機での downstream robotics 評価は困難かつ高コストでスケールしにくいという問題に対し、stereo/wrist camera 画像の順序付け課題で代替する点が新しい。 - これらの課題はロボットに直接応用可能な視覚推論スキルを測るよう設計。 - 既存の state-of-the-art VLM が順序付け課題で苦戦することを実験的に示した。 - 人手アノテーションに頼らず自律的に学習データを生成する pipeline を提案し、SFT と RL の両方で改善を示した点が差分。 - 具体的な比較対象モデル名は要旨からは不明。

- 実ロボットに搭載した stereo camera と wrist camera の画像を入力に用いる。 - 3種類の順序付けタスクを定義し、集合サイズで難易度を変調。 - scalable な自律訓練データ生成 pipeline を構築。 - 詳細な生成手順は要旨からは不明。 - 生成データに対し supervised finetuning と reinforcement learning を適用して VLM を強化。 - 評価は順序付け課題に加え downstream robotics タスクと visual reasoning タスクでも実施。

- 複数の state-of-the-art VLM を3つの順序付け課題で評価し、苦戦することを示した。 - 生成データでの supervised finetuning と reinforcement learning の双方が、spatiotemporal ordering 課題の性能を有意に改善。 - 改善は downstream robotics タスクと visual reasoning タスクにも波及することを確認。 - 具体的なモデル名・データセット名・定量指標は要旨からは不明。

- 実機評価の代替として順序付け課題が妥当かという妥当性議論の余地がある。 - 集合サイズによる難易度変調の効果や、生成データの多様性・分布偏りの影響は要旨からは不明。 - SFT と RL のどちらがどの条件で優位か、計算コスト比較は要旨からは不明。 - 実ロボットへの転移効果の範囲や限界についての詳細は要旨からは不明。

- 要旨で参照/比較されている具体的な VLM 名やデータセット名は明示されていないため、同分野の定番として以下を挙げる。 - ロボット向け VLM/VLA 基盤: RT-2, OpenVLA, PaLM-E - 視覚言語推論ベンチマーク: BLINK, MMMU, VQA - ロボット操作ベンチマーク: LIBERO, CALVIN, RLBench - 順序付け・時系列理解: temporal ordering / frame ordering 関連研究 - 学習法: supervised finetuning, reinforcement learning from human feedback (RLHF), 強化学習による VLM 推論改善研究