日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2504.14573

クロスモダリティ注意によるモダリティ選択とスキル分割

Modality Selection and Skill Segmentation via Cross-Modality Attention

シェア:XThreadsFacebookLINEはてブBluesky

触覚や音声などの追加モダリティをロボット基盤モデルに組み込む際、各時点で最も有益なモダリティだけを選ぶクロスモダリティ注意機構を提案し、さらに熟練者のデモから基本スキルを分割して階層的政策を訓練することで、長期的で接触の多いマニピュレーション課題を解決できるようにした。

詳しい要約

1. どんなもの?

- 基盤ロボットモデルに tactile や audio などの追加 sensory modalities を組み込む際の curse of dimensionality に対処する研究。 - modality selection を導入し、各 timestep で action generation に最も informative な modality を選択的に利用する。 - cross-modality attention (CMA) を提案し、さらに expert demonstrations から primitive skills を segmentation して hierarchical policy の訓練に用いる。

2. 先行研究と比べてどこがすごい?

- 追加 modality を一律に融合せず、modality selection により次元増大の悪影響を抑える点が特徴。 - CMA を modality 選択だけでなく skill segmentation にも拡張し、long-horizon, contact-rich manipulation へ適用する点が新しい。 - 具体的な先行研究との比較は要旨からは不明。

3. 技術・手法の肝は?

- cross-modality attention (CMA) により、各 timestep で action generation に informative な modality を同定・選択する。 - CMA を expert demonstrations に適用して primitive skills を segment する。 - 得られた segmentation を利用して hierarchical policy を訓練する。

4. どうやって有効だと検証した?

- 要旨からは不明。long-horizon, contact-rich manipulation tasks を解く hierarchical policy の訓練に用いると述べられるが、実験設定や評価指標は記載されていない。

5. 議論はある?

- 要旨からは不明。modality selection の限界や、segmentation の品質、hierarchical policy の汎化性に関する議論は記載されていない。

6. 次に読むべき論文は?

- 要旨で参照・比較されている研究は明示されていない。関連手法として cross-modality attention、hierarchical policy、skill segmentation、contact-rich manipulation に関する論文を挙げるのが妥当だが、具体的な文献は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Jiawei Jiang, Kei Ota, Devesh K. Jha, Asako Kanezaki

分類: cs.RO, cs.AI

原文アブストラクト

Incorporating additional sensory modalities such as tactile and audio into foundational robotic models poses significant challenges due to the curse of dimensionality. This work addresses this issue through modality selection. We propose a cross-modality attention (CMA) mechanism to identify and selectively utilize the modalities that are most informative for action generation at each timestep. Furthermore, we extend the application of CMA to segment primitive skills from expert demonstrations and leverage this segmentation to train a hierarchical policy capable of solving long-horizon, contact-rich manipulation tasks.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI