遅延対応ガイダンス融合による非同期マルチモーダル拡散ポリシー合成

本論文は、ロボットの模倣学習におけるマルチモーダル拡散ポリシーを非同期に合成するためのフレームワークLAG-Fusionを提案する。従来の同期融合や手動設計のマルチ周波数アーキテクチャでは、異なるセンシングレートや推論レイテンシを持つモダリティを効率的に扱えなかった。LAG-Fusionは、各モダリティ固有のポリシーをネイティブな推論レートで動作させ、利用可能なときにdenoising guidanceを提供する。さらに、相対アクション表現下での拡散変数の参照フレーム再設定ルールを導出し、遅延したガイダンスを融合前に整列させる。接触を伴う操作タスクにおいて、低周波の視覚ポリシーと高周波の力覚ポリシーを組み合わせて実装し、異種モダリティレイテンシ下での実験により、同期融合や専用設計の力覚ベースラインよりも応答性とタスク性能が向上することを示す。

既存のマルチモーダル拡散ポリシーは、同期融合に依存するか、手動設計のマルチ周波数アーキテクチャを用いる。同期融合は高周波フィードバックを遅くし、手動設計は新しいモダリティ組み合わせへの拡張性を制限する。LAG-Fusionは、モダリティ固有のポリシーを非同期に動作させ、レイテンシを考慮したガイダンス融合を実現することで、これらの問題を解決する。特に、相対アクション表現下での参照フレーム再設定ルールを導入し、遅延したガイダンスを理論的に整合させる点が新しい。

LAG-Fusionの核心は、非同期なマルチモーダル拡散ポリシー合成を可能にするレイテンシ認識ガイダンス融合である。各モダリティ固有のポリシーは独立してdenoisingを行い、利用可能になった時点でガイダンスを提供する。相対アクション表現では、拡散変数の参照フレームが時間とともに変化するため、遅延したガイダンスを融合する前に参照フレームを再設定するルールを導出する。これにより、異なるレイテンシを持つガイダンスを一貫して合成できる。具体的には、低周波の視覚ポリシーと高周波の力覚ポリシーを組み合わせ、接触を伴う操作タスクに適用する。

接触を伴う操作タスクにおいて、低周波の視覚ポリシーと高周波の力覚ポリシーを組み合わせたLAG-Fusionを実装し、異種モダリティレイテンシ下での実験を行った。同期融合や専用設計の力覚ベースラインと比較し、LAG-Fusionがポリシーの応答性とタスク性能を向上させることを示した。具体的なタスクや評価指標は要旨からは不明だが、実験により有効性を検証している。

要旨からは、LAG-Fusionの限界や議論についての詳細は不明。ただし、提案手法は非同期合成を可能にするが、モダリティ間の情報内容の違いや、より複雑なモダリティ組み合わせへの拡張性については、さらなる検討が必要かもしれない。また、参照フレーム再設定ルールは相対アクション表現に依存しており、他の表現への適用可能性は議論の余地がある。

要旨で参照されている関連研究として、拡散ポリシー（Diffusion Policy）やマルチモーダル拡散ポリシー、同期融合を用いた既存手法、力覚を利用した操作学習のベースラインなどが挙げられる。具体的な論文名は不明だが、同分野の定番として、拡散モデルを用いた模倣学習の基礎論文や、マルチモーダルセンサフュージョンに関する研究を読むとよい。