日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

視覚基盤モデル適応arXiv:2605.25495

RepSAM: 表現ガイド適応による基盤モデルとロボット視覚の橋渡し

RepSAM: Bridging Foundation Models to Robotic Vision via Representation-Guided Adaptation

シェア:XThreadsFacebookLINEはてブBluesky

基盤モデルSAMのロボット視覚への適用時、層ごとの表現ずれを分析し、CKA指標に基づくランク配分と多モーダル融合で高効率なファインチューニングを実現。パラメータを大幅削減しつつ、ロボット操作成功率も向上させた。

詳しい要約

1. どんなもの?

- 基盤モデル(SAM)をロボティックビジョンに適応させるための表現誘導型パラメータ効率ファインチューニング(PEFT)フレームワーク「RepSAM」を提案。 - 非構造環境でのロボット知覚の課題に対処。 - 透明物体や混雑シーンを含むロボットシナリオに頑健。 - 6つのベンチマークとロボットマニピュレーションタスクで評価。

2. 先行研究と比べてどこがすごい?

- フルファインチューニングと比較して、97.9%の性能(mIoU 89.0% vs. 90.9%)を達成しつつ、学習可能パラメータを158倍削減(632Mから4.0M)。 - DoRAを7.9% mIoU上回り、単一A100 GPUで4時間の学習(フルファインチューニングの384 GPU時間から96倍削減)。 - LoRA(RGB)ベースラインと比較して、ロボットマニピュレーション成功率が12.0%絶対改善。 - 改善は統計的に有意(p < 0.01)。

3. 技術・手法の肝は?

- トランスフォーマー層間の非一様な表現シフトを観測:浅い層は大きなドメインギャップ(CKA < 0.5)、深い層は効果的に転移(CKA > 0.7)。 - この観測に基づき、CKA誘導ランク割り当て戦略とマルチモーダル融合モジュールを組み合わせた表現誘導型PEFTを採用。 - 理論的根拠に基づくCKAガイド付きランク割り当て。 - 透明物体や混雑シーンに対処するためのマルチモーダル融合。

4. どうやって有効だと検証した?

- 6つのベンチマークとロボットマニピュレーションタスクで実験評価。 - フルファインチューニング、DoRA、LoRA(RGB)ベースラインと比較。 - 性能指標(mIoU、成功率)と学習効率(パラメータ数、GPU時間)を測定。 - 統計的有意性(p < 0.01)を確認。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- SAM(Segment Anything Model) - DoRA - LoRA

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Wenhui Chu

分類: cs.RO, cs.CV

原文アブストラクト

Robotic perception in unstructured environments remains challenging despite the zero-shot capabilities of foundation models such as SAM. This work attributes performance degradation to non-uniform representation shifts across transformer layers: shallow layers exhibit substantial domain gaps (CKA < 0.5), whereas deep layers transfer effectively (CKA > 0.7). Based on this observation, we propose RepSAM, a representation-guided parameter-efficient fine-tuning (PEFT) framework for adapting foundation models to robotic vision. RepSAM employs a theoretically grounded CKA-guided rank allocation strategy combined with a multi-modal fusion module for robust handling of challenging robotic scenarios, including transparent objects and cluttered scenes. Experimental evaluation across six benchmarks and robotic manipulation tasks demonstrates that RepSAM achieves 97.9% of full fine-tuning performance (89.0% vs. 90.9% mIoU) while reducing trainable parameters by 158x (from 632M to 4.0M). RepSAM outperforms DoRA by 7.9% mIoU with just 4 hours of training on a single A100 GPU (a 96x reduction from full fine-tuning, which takes 384 GPU-hours). These improvements are statistically significant (p < 0.01) and translate to a 12.0% absolute improvement in robotic manipulation success rates over the LoRA (RGB) baseline.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  4. 4SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達
  5. 5パナソニックHD、「現場起点のPhysical AI」の研究開発加速を発表研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI