日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2507.04351

MLLM-Fabric:マルチモーダル大規模言語モデルによる布地の選別・選択ロボットフレームワーク

MLLM-Fabric: Multimodal Large Language Model-Driven Robotic Framework for Fabric Sorting and Selection

シェア:XThreadsFacebookLINEはてブBluesky

マルチモーダル大規模言語モデルを活用し、RGB画像と視触覚・圧力データから布地の特性をランク付けして選別・選択するロボットシステムを提案し、220種の布地データセットを公開した。

詳しい要約

1. どんなもの?

- ロボットによる textile manufacturing・apparel production・smart retail 向けの fabric sorting and selection を目的としたフレームワーク - MLLM-Fabric と呼ぶ multimodal large language model (MLLM) 駆動のロボティックフレームワーク - multimodal robotic platform 上に構築され、fabric properties の ranking を行う - 220 種類の fabric からなる dataset を公開 - 各 fabric に RGB images と同期した visuotactile data・pressure data を含む - code と dataset は GitHub で公開

2. 先行研究と比べてどこがすごい?

- 従来の pretrained vision-language baselines と比較して、Fabric-Llama-90B が attribute ranking と selection reliability の両方で一貫して優れると報告 - fabric 選択に visuotactile・pressure を含む multimodal 情報と MLLM を組み合わせる点が特徴 - 220 fabric の RGB images・visuotactile・pressure を同期収集した dataset を公開する点が貢献 - 具体的な先行研究名や比較数値は要旨からは不明

3. 技術・手法の肝は?

- multimodal robotic platform を用いて fabric の multimodal データを取得 - supervised fine-tuning により MLLM を学習 - explanation-guided distillation を用いて fabric properties の ranking を学習 - Fabric-Llama-90B というモデルを構築 - RGB images と visuotactile・pressure data を入力として扱う - 詳細なアーキテクチャや distillation の具体的な手順は要旨からは不明

4. どうやって有効だと検証した?

- 220 種類の fabric からなる dataset を用いて実験 - attribute ranking と selection reliability の 2 指標で評価 - pretrained vision-language baselines との比較を実施 - Fabric-Llama-90B が両指標で一貫して上回ることを示した - 実ロボットでの sorting/selection タスクの成功率など詳細な評価設定は要旨からは不明

5. 議論はある?

- fabric sorting and selection における MLLM の有効性を示唆 - visuotactile・pressure の multimodal 情報の活用が性能に寄与する可能性 - 220 fabric の dataset 公開により再現性・追試が可能 - 実環境での汎化性、fabric 種類の拡張性、計算コスト、失敗事例などの議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている pretrained vision-language baselines の原論文 - MLLM を用いた robotic manipulation の関連研究 - visuotactile sensing を用いた fabric/material recognition の研究 - supervised fine-tuning と explanation-guided distillation の関連手法 - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Liman Wang, Hanyang Zhong, Tianyuan Wang, Shan Luo, Jihong Zhu

分類: cs.RO, cs.AI

原文アブストラクト

Choosing appropriate fabrics is critical for meeting functional and quality demands in robotic textile manufacturing, apparel production, and smart retail. We propose MLLM-Fabric, a robotic framework leveraging multimodal large language models (MLLMs) for fabric sorting and selection. Built on a multimodal robotic platform, the system is trained through supervised fine-tuning and explanation-guided distillation to rank fabric properties. We also release a dataset of 220 diverse fabrics, each with RGB images and synchronized visuotactile and pressure data. Experiments show that our Fabric-Llama-90B consistently outperforms pretrained vision-language baselines in both attribute ranking and selection reliability. Code and dataset are publicly available at https://github.com/limanwang/MLLM-Fabric.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI