未知の物体を識別する：ロボット物体操作のためのプロンプト不要なオープンボキャブラリ異常認識

- ロボットが未知物体を認識するための open vocabulary 物体検出・分類フレームワーク AnomNOVIC を提案。 - 2段階構成で、masked autoencoder (MAE) による anomaly detection と、prompt-free な open vocabulary 画像分類器 NOVIC を組み合わせる。 - 既知ワークスペースを対象とし、tabletop robot-object 環境で NICOL humanoid robot を用いて評価。 - prompt-free で 47.1% AP / 57.5% AP50、クラス候補を与えると 59.0% AP / 72.5% AP50 を達成。 - 48種類の物体を含む in-the-wild テストセットでは最大 82.6% の prompt-free 検出・分類精度。

- 従来の open vocabulary 検出器は prompt や候補クラスリストを必要とすることが多く、連続運用に十分効率的でない場合がある。 - AnomNOVIC は prompt-free で動作し、事前定義された候補クラスリストを必要としない。 - 評価では YOLO-World-v2、OWLv2、YOLOE などの強い open vocabulary ベースラインを上回った。 - ロボットの tabletop 環境および in-the-wild データセットで有効性を示し、prompt-free 設定でも高い精度を達成。

- 第1段階: masked autoencoder (MAE) を anomaly detection 用に訓練し、物体に依存しない汎用的な bounding box を生成。 - 第2段階: NOVIC と呼ばれるリアルタイム prompt-free open vocabulary 画像分類器が、MAE が抽出した顕著な画像領域を分類。 - 候補クラスリストを事前に与えずに分類可能。 - 既知ワークスペースを前提とした2段階フレームワーク。

- NICOL humanoid robot を用いた tabletop robot-object 環境で、強い open vocabulary ベースラインと比較。 - prompt-free で 47.1% AP / 57.5% AP50、クラス候補ありで 59.0% AP / 72.5% AP50 を達成。 - 48種類の物体を含む in-the-wild テストセットを含む追加データセットで、最大 82.6% の prompt-free 検出・分類精度を達成。 - YOLO-World-v2、OWLv2、YOLOE を含む全テスト済み open vocabulary ベースラインを大幅に上回った。

- 要旨からは、限界や失敗事例、計算コスト、リアルタイム性の詳細な議論は不明。 - 既知ワークスペースを前提としており、未知環境への一般化については要旨からは不明。 - prompt-free と候補クラスありの性能差 (47.1% AP vs 59.0% AP) が示されており、候補クラス情報の有無が性能に影響する可能性がある。

- YOLO-World-v2 - OWLv2 - YOLOE - NOVIC - masked autoencoder (MAE) を用いた anomaly detection 関連研究