日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

世界モデルarXiv:2607.26056

INTACT: 検索不要の世界モデルのための同型意図-行動学習

INTACT: Isomorphic Intent-to-Action Learning for Search-Free World Models

シェア:XThreadsFacebookLINEはてブBluesky

行動ラベル付き軌跡から、検索なしで意図を行動に変換するエンドツーエンドのJEPAモデルを提案し、LeWMタスクで高い成功率を達成した。

詳しい要約

1. どんなもの?

INTACT (INtent-To-ACTion) は、前方潜在世界モデルを学習し、意図(intent)から行動(action)への直接的なインターフェースを提供するエンドツーエンドのJEPA(Joint Embedding Predictive Architecture)である。行動ラベル付きで報酬なしの軌跡から、検索なしで所望の変化を実現する行動を予測する。各遷移から物理的意図(z_{t+1} - z_t)を、将来の目標から展開意図(sg(z_g) - z_t)を学習する。

2. 先行研究と比べてどこがすごい?

従来の前方潜在世界モデルは、目標状態の変化を達成するための行動を推論する際に、テスト時に高コストな探索(例:CEM)を必要とする。INTACTは、表現学習と制御を統合し、探索なしで直接行動を出力するポリシーを学習する点で優れている。また、局所的および目標運動意図のバックボーン入力グラフに対して同型なアーキテクチャを採用し、点単位の潜在空間の等価性や大域的に線形なダイナミクスを仮定せずに、行動法則の意味論を誘導する。

3. 技術・手法の肝は?

手法の核は、局所的な運動意図と目標運動意図のバックボーン入力グラフが同一の4スロット文法と共有パラメータを持つ同型性にある。また、同じ予測器によって誘導される行動法則の意味論により、局所と目標の運動意図ファミリー間の対応を実現する。非対称なエンドポイント勾配を用いて、物理的な後継状態を接地し、将来の目標をアンカーとして固定することで、点単位の潜在マッチングや大域的に線形なダイナミクスを必要とせずに表現学習と制御を結合する。学習された座標は分布的な行動法則をサポートし、その条件付き平均が直接探索なしのポリシーとして機能する。

4. どうやって有効だと検証した?

LeWM(Learning World Models)の公式4タスクにおいて、1エポック、ゼロ探索のモデルがそれぞれ85.78%、100.00%、97.67%、97.89%の成功率を達成した。オプションの局所CEMをDirectプランに適用すると、96.86%のマクロ成功率を、384個の候補シーケンス(従来の9,000個の代わり)で達成し、サンプリングを23.44倍削減しつつ、純粋なCEMを16.00ポイント改善した。また、共有エンコーダを用いた4タスク統合モデルは89.39%のE5 Directマクロ成功率を達成し、共同訓練されたLeWMの全タスクを改善した。予測されたエキスパート行動ファミリーのkNNはDirect成功率とr=0.954の相関を示した。Direct推論は2.9〜5.5msで完了する。

5. 議論はある?

要旨からは、潜在空間の解釈可能性や、異なる行動法則ファミリー間の転移の一般化可能性についての議論は不明である。また、提案手法は報酬なしの軌跡を利用するが、報酬がある場合の拡張や、実世界のロボットへの適用における課題(例:センサーノイズ、部分観測性)については言及されていない。さらに、同型性の制約が表現学習の柔軟性を制限する可能性や、非対称エンドポイント勾配の理論的正当性についての詳細な議論は要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されているLeWM(Learning World Models)の公式タスクに関連する論文、およびJEPA(Joint Embedding Predictive Architecture)の基礎論文(例:Yann LeCunらのJEPAに関する研究)が挙げられる。また、前方潜在世界モデルやモデルベース強化学習の関連研究(例:Dreamer、TD-MPCなど)も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Junhan Sun, Hao Zhao, Guofeng Zhang

分類: cs.RO

原文アブストラクト

Forward latent world models predict how actions change a scene, but recover actions for a desired change only through expensive test-time search. We introduce INTACT (INtent-To-ACTion), an end-to-end JEPA that turns action-labeled, reward-free trajectories into a deployable intent-to-action interface. Each transition supplies physical intent $z_{t+1}-z_t$, while a future goal supplies deployment intent $\operatorname{sg}(z_g)-z_t$. The architecture is isomorphic between the local and goal motion-intent backbone-input graphs through an identical four-slot grammar and shared parameters, and between supported local and goal motion-intent families through action-law semantics induced by the same predictor rather than pointwise latent equality. INTACT also provides intact transfer from RGB evidence to action-effective latent intent coordinates and from intent families to their corresponding action-law families. Asymmetric endpoint gradients ground physical successors and fix future goals as anchors, joining representation learning and control without pointwise latent matching or globally linear dynamics. The resulting coordinates support a robust distributional action law: its conditional mean serves directly as a search-free policy, while sampling remains available for diversity or optional verification. On the four official LeWM tasks, one-epoch, zero-search models reach 85.78\%, 100.00\%, 97.67\%, and 97.89\% success. Optional local CEM centered on the Direct plan reaches 96.86\% macro success using 384 instead of 9,000 candidate sequences, reducing sampling by $23.44\times$ while improving pure CEM by 16.00 points. One shared four-task encoder reaches 89.39\% E5 Direct macro and improves every task over jointly trained LeWM, while predicted--expert action-family kNN tracks Direct success at $r=0.954$. Direct inference takes 2.9--5.5 ms.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI