日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

共創/音楽ロボティクスarXiv:2606.19914

Co-policy: 人間とロボットによる応答的な音楽共創のためのフレームワーク

Co-policy: Responsive Human-Robot Co-Creation for Musical Performances

シェア:XThreadsFacebookLINEはてブBluesky

音楽セマンティクスを物理的な演奏動作に結びつける、人間とロボットの音楽共創フレームワークを提案。意味理解、音楽変奏、視覚運動実行を分離し、低遅延で応答的な演奏を実現する。

詳しい要約

1. どんなもの?

- 本論文は、人間とロボットが音楽を共同創作するためのフレームワーク「Co-policy」を提案する。 - 意味的意図の接地、制約付き音楽変奏、視覚運動実行を分離する。 - 音声、ライブ音楽シード、視覚観測を構造化された共同創作計画に変換する。 - 低遅延実行のため、Gaussian-Mixture Visuomotor Policy (GMP) を導入する。 - ロボットによる単なる再生ではなく、音楽的・物理的制約下で補完的な応答を生成する。

2. 先行研究と比べてどこがすごい?

- 従来のロボット再生システムはユーザ指定の音符を再現するだけである。 - Co-policyは、ユーザ指定の音符を再現するのではなく、音楽的・物理的制約下で補完的な音楽応答を生成する点が異なる。 - 拡散ポリシーやアブレーションされたベースラインと比較して、意図整合性、実行精度、応答頻度が向上した。 - 身体的に接地された行動生成が、身体化された人間-AI共創の鍵となる要件であることを支持する。

3. 技術・手法の肝は?

- 意味的意図の接地には、事前推論意味アンカーと微調整されたQwen-vlプランナー(F-Qwen)を用いる。 - F-Qwenは音声、ライブ音楽シード、視覚観測を構造化された共同創作計画に変換する。 - 低遅延実行のために、Gaussian-Mixture Visuomotor Policy (GMP) を導入する。 - GMPは条件付き混合密度ポリシーとして実装され、目標音符と視覚コンテキストを単一のフォワードパスでマルチモーダルなロボット行動にマッピングする。

4. どうやって有効だと検証した?

- 実ロボットのチャイム実験、アブレーション、専門家評価を実施した。 - 拡散ポリシーおよびアブレーションされたベースラインと比較して、意図整合性、実行精度、応答頻度の改善を示した。 - これにより、身体的に接地された行動生成が身体化された人間-AI共創の鍵となる要件であることを支持する。

5. 議論はある?

- 要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:diffusion-policy、ablated baselines。 - 関連手法:Qwen-vl、Gaussian-Mixture Visuomotor Policy (GMP)。 - 同分野の定番:robotic playback systems。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xuetao Li, Wenke Huang, Mang Ye, Zijian Liu, Jinhua Xie, Jifeng Xuan, Miao Li

分類: cs.RO, cs.AI

原文アブストラクト

Art has long stood as a pivotal expression of human creativity. Embodied artificial intelligence offers a route for generative models to participate in that creativity through physical action rather than disembodied digital content. In robotic music co-creation, it is challenging to connect semantic musical understanding with real-time and physically executable performance. We present Co-policy, a framework for human-robot musical co-creation that separates semantic intent grounding, constrained musical variation, and visuomotor execution. To ground musical semantics, Co-policy uses pre-inference semantic anchors and a fine-tuned Qwen-vl planner (F-Qwen) to transform speech, live musical seeds, and visual observations into structured co-creation plans. To support low-latency execution, Co-policy introduces a Gaussian-Mixture Visuomotor Policy (GMP), implemented as a conditional mixture-density policy that maps target notes and visual context to multimodal robot actions in a single forward pass. Unlike robotic playback systems that merely reproduce user-specified notes, Co-policy generates complementary musical responses under both musical and physical constraints. Real-robot chime experiments, ablations, and expert evaluation show improved intent alignment, execution accuracy, and response frequency over diffusion-policy and ablated baselines, supporting physically grounded action generation as a key requirement for embodied human-AI co-creation.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI