複数画像からの移動マニピュレーション指示生成と自動評価指標の強化
Mobile Manipulation Instruction Generation from Multiple Images with Automatic Metric Enhancement
対象物体と収納場所の画像から移動マニピュレーション用の自由形式指示文を生成するモデルを提案し、学習ベースとn-gramベースの自動評価指標を報酬として組み込む訓練法で性能を向上させた。
著者: Kei Katsumata, Motonari Kambara, Daichi Yashima, Ryosuke Korekata, Komei Sugiura
分類: cs.RO
原文アブストラクト
We consider the problem of generating free-form mobile manipulation instructions based on a target object image and receptacle image. Conventional image captioning models are not able to generate appropriate instructions because their architectures are typically optimized for single-image. In this study, we propose a model that handles both the target object and receptacle to generate free-form instruction sentences for mobile manipulation tasks. Moreover, we introduce a novel training method that effectively incorporates the scores from both learning-based and n-gram based automatic evaluation metrics as rewards. This method enables the model to learn the co-occurrence relationships between words and appropriate paraphrases. Results demonstrate that our proposed method outperforms baseline methods including representative multimodal large language models on standard automatic evaluation metrics. Moreover, physical experiments reveal that using our method to augment data on language instructions improves the performance of an existing multimodal language understanding model for mobile manipulation.
関連論文
- TAMPAgent:移動マニピュレーションのためのエージェント型信念空間プランニング移動マニピュレーション
- ぐらつく土台の影響を解明:移動マニピュレーションにおける非剛体ベース効果の特性評価移動マニピュレーション
- 基盤モデル駆動3Dシーングラフによる移動マニピュレーション移動マニピュレーション
- MuSTMM: 複数シーンにわたる音トリガー移動マニピュレーションの学習移動マニピュレーション
- MoCaP: 受動的な人間動画を用いたゼロショット移動マニピュレーションのためのモバイル・コード・アズ・ポリシー移動マニピュレーション
- 動く前に見よ:オープンワールド移動マニピュレーションのためのエージェント・インターフェース整合型教師あり学習移動マニピュレーション
