日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2510.21761

J-ORA: 日本語物体識別・参照解決・行動予測のためのロボット知覚フレームワークとマルチモーダルデータセット

J-ORA: A Framework and Multimodal Dataset for Japanese Object Identification, Reference, Action Prediction in Robot Perception

シェア:XThreadsFacebookLINEはてブBluesky

日本語の人間-ロボット対話における物体属性アノテーション付きマルチモーダルデータセットを構築し、物体識別・参照解決・次行動予測の性能評価を行った。

詳しい要約

1. どんなもの?

- 日本語の人間-ロボット対話シナリオを対象に、物体属性の詳細アノテーションを付与した新しいマルチモーダルデータセット J-ORA を導入 - 物体識別 (object identification)、参照解決 (reference resolution)、次行動予測 (next-action prediction) の3タスクを支援する設計 - category, color, shape, size, material, spatial relations などの属性テンプレートを活用 - ロボット知覚における既存のギャップを埋めることを狙う

2. 先行研究と比べてどこがすごい?

- 日本語の人間-ロボット対話に詳細な物体属性アノテーションを提供する点が特徴 - 先行研究との具体的な比較は要旨からは不明 - 物体属性を組み込むことで、属性なしの場合と比べマルチモーダル知覚性能が実質的に向上することを示した

3. 技術・手法の肝は?

- 属性テンプレート (category, color, shape, size, material, spatial relations 等) に基づく詳細な物体属性アノテーション - 3つの知覚タスク (object identification, reference resolution, next-action prediction) を設定 - proprietary および open-source の Vision Language Models (VLMs) を用いて評価

4. どうやって有効だと検証した?

- proprietary と open-source の VLMs による広範な評価を実施 - 物体属性を組み込むと、組み込まない場合よりマルチモーダル知覚性能が向上 - proprietary と open-source の VLMs の間には依然ギャップがあることを確認 - object affordances の分析で、VLM 間で物体機能や文脈関係の理解能力に差があることを示した

5. 議論はある?

- proprietary と open-source の VLMs 間の性能ギャップが残存 - object affordances の理解に VLM 間で差があり、物体機能や文脈関係の把握能力が異なる - 動的環境におけるロボット知覚向上には、文脈に敏感な豊富な属性アノテーションが重要と結論 - 具体的な限界や今後の課題の詳細は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として Vision Language Models (VLMs)、object affordances 分析、object identification / reference resolution / next-action prediction に関する研究が挙げられる - 同分野の定番として robot perception や multimodal dataset に関する研究を参照するのが妥当

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jesse Atuhurra, Hidetaka Kamigaito, Taro Watanabe, Koichiro Yoshino

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

We introduce J-ORA, a novel multimodal dataset that bridges the gap in robot perception by providing detailed object attribute annotations within Japanese human-robot dialogue scenarios. J-ORA is designed to support three critical perception tasks, object identification, reference resolution, and next-action prediction, by leveraging a comprehensive template of attributes (e.g., category, color, shape, size, material, and spatial relations). Extensive evaluations with both proprietary and open-source Vision Language Models (VLMs) reveal that incorporating detailed object attributes substantially improves multimodal perception performance compared to without object attributes. Despite the improvement, we find that there still exists a gap between proprietary and open-source VLMs. In addition, our analysis of object affordances demonstrates varying abilities in understanding object functionality and contextual relationships across different VLMs. These findings underscore the importance of rich, context-sensitive attribute annotations in advancing robot perception in dynamic environments. See project page at https://jatuhurrra.github.io/J-ORA/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3Google DeepMind、ロボット向けAIを発表新製品・発表
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI