日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/動作生成arXiv:2607.07129

物体中心ニューラル場を用いたデモからの合成的動作生成

Compositional Motion Generation from Demonstration with Object-Centric Neural Fields

シェア:XThreadsFacebookLINEはてブBluesky

物体中心のニューラル表現と時間的混合専門家モデルを組み合わせ、知覚と動作を共有オブジェクト表現で結びつけることで、少ないデータで長期的な操作タスクを合成可能な動作生成フレームワークを提案した。

詳しい要約

1. どんなもの?

本論文は、デモンストレーションからロボットの動作を生成する生成的な学習フレームワークを提案している。物体中心のニューラル表現(object-centric neural fields)を用いて知覚と動作を結びつけ、空間的・時間的な構成性(compositionality)を実現する。具体的には、canonical neural fieldsと潜在条件付き変形を統合した物体中心表現でシーンをレンダリングし、時間的なmixture-of-experts (MoE) によるゲーティング機構で物体条件付きの動作プリミティブを組み合わせて軌道を生成する。これにより、データ効率の良い動作プリミティブの利点を保ちつつ、視覚構造に基づいた動作生成が可能となり、多様なシーン構成への系統的一般化を目指す。

2. 先行研究と比べてどこがすごい?

先行研究の動作プリミティブはデータ効率が良いが、視覚構造に基づいていないため、シーン構成の変化に対する一般化が限定的である。一方、画像ベースの模倣学習は視覚情報を利用するが、大量のデータを必要とする。本手法は、物体中心のニューラル表現を介して知覚と動作を共有表現で結ぶことで、動作プリミティブのデータ効率を維持しつつ、視覚構造に基づく系統的一般化を実現している点が新しい。また、時間的なMoEにより、長期的なタスクを構成性を持って生成できる点も先行研究と異なる。

3. 技術・手法の肝は?

手法の核は、物体中心のニューラル表現と時間的MoEの組み合わせにある。物体中心表現は、canonical neural fieldと潜在条件付き変形を統合し、物体の位置や形状の変化を滑らかで一貫性のある解釈可能な方法で捉える。これにより、シーンを物体ごとに表現し、視覚的特徴を抽出する。動作生成では、時間的MoEがゲーティング機構を用いて、各時刻で物体条件付きの動作プリミティブを選択・合成し、完全な軌道を生成する。この空間的・時間的構成性により、データ効率と一般化を両立している。

4. どうやって有効だと検証した?

検証は、シミュレーションと実世界の両方で行われた。シミュレーションでは、長期的な操作タスクを提案モデルで成功させ、他の画像ベースのベースラインと比較して、必要なトレーニングデータが大幅に少ないことを示した。実世界実験では、ノイズに対するロバスト性、言語ベースのセグメンテーションモデルによるカテゴリレベルの一般化、および3Dシーン表現への直接適用能力を実証した。

5. 議論はある?

要旨からは、議論の詳細は不明であるが、提案手法の利点としてデータ効率と一般化が強調される一方で、物体中心表現の獲得に依存する点や、複雑なシーンでのスケーラビリティ、実世界でのノイズや変形への対処などが課題として考えられる。また、言語ベースのセグメンテーションを利用するため、その精度に依存する可能性がある。

6. 次に読むべき論文は?

要旨で参照されている関連研究として、movement primitives、image-based imitation learning、object-centric neural fields、mixture-of-experts、language-based segmentation modelsが挙げられる。次に読むべき論文としては、物体中心表現の基礎となるNeural Radiance Fields (NeRF)や、動作プリミティブの古典的手法であるDynamic Movement Primitives (DMP)などが考えられるが、要旨からは特定の論文名は不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ahmet Ercan Tekden, Yasemin Bekiroglu

分類: cs.RO

原文アブストラクト

Compositionality, by organizing complex behavior as combinations of simpler elements, enables robot learning that is scalable and data efficient. Leveraging this principle, we propose a generative learning-from-demonstration framework that enables compositional modeling of robotic behavior by connecting perception and motion through shared object-level representations. We render scenes from object-centric neural representations that integrate canonical neural fields with latent-conditioned deformations, capturing positional and geometric variations in a smooth, consistent, and interpretable way. For motion generation, a temporal mixture-of-experts (MoE) employs a gating mechanism to combine object-conditioned movement primitives over time, producing complete trajectories. This spatial-temporal compositionality maintains the data efficiency of movement primitives while grounding motion in visual structure, enabling systematic generalization across diverse scene configurations. In simulation, long-horizon manipulation tasks are successfully completed using the proposed model, which requires significantly less training data than other image-based baselines. Real-world experiments further demonstrate the method's robustness to noise, its ability to generalize at the category level through language-based segmentation models, and its capacity to operate directly on 3D scene representations.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI