日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2512.23541

Act2Goal: ワールドモデルから汎用ゴール条件付き政策へ

Act2Goal: From World Model To General Goal-conditioned Policy

シェア:XThreadsFacebookLINEはてブBluesky

視覚的ゴールと現在の観測から、目標条件付きワールドモデルで中間視覚状態を生成し、マルチスケール時間制御で長期的なマニピュレーションを実現する汎用政策を提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための汎用 goal-conditioned policy「Act2Goal」の提案 - 視覚ゴール(target visual goal)を入力とし、goal-conditioned visual world model と multi-scale temporal control を統合 - 現在観測と目標画像から、world model が中間視覚状態の系列(long-horizon 構造)を生成 - その視覚プランを Multi-Scale Temporal Hashing (MSTH) で実行に変換 - zero-shot 汎化と reward-free オンライン適応の両方を狙う

2. 先行研究と比べてどこがすごい?

- 既存の goal-conditioned policy は single-step action prediction に依存し、タスク進捗を明示的にモデル化しないため long-horizon 操作が苦手 - Act2Goal は world model による中間視覚状態の想像で long-horizon 構造を明示的に扱う点が異なる - MSTH により dense proximal frames と sparse distal frames を分離し、局所反応性と大域的整合性を両立 - zero-shot で新規物体・空間配置・環境へ汎化 - LoRA-based finetuning と hindsight goal relabeling による reward-free オンライン適応を実現

3. 技術・手法の肝は?

- goal-conditioned visual world model が現在観測+目標画像から中間視覚状態列を生成 - Multi-Scale Temporal Hashing (MSTH): 想像軌跡を dense proximal frames(細粒度 closed-loop 制御用)と sparse distal frames(大域的タスク整合性のアンカー)に分解 - これらの表現と motor control を end-to-end cross-attention で結合 - reward-free オンライン適応は hindsight goal relabeling と LoRA-based finetuning で実現 - 外部 supervision なしで自律的に改善

4. どうやって有効だと検証した?

- 実機ロボット実験を実施 - 難易度の高い out-of-distribution タスクで成功率が 30% から 90% へ向上 - 自律インタラクション数分以内での改善を確認 - zero-shot で新規物体・空間配置・環境への汎化を評価 - 詳細なベースライン比較やデータセットは要旨からは不明

5. 議論はある?

- world model の想像軌跡の品質や誤差蓄積への影響は要旨からは不明 - MSTH の dense/sparse 分割の設計感度やハイパーパラメータは要旨からは不明 - LoRA-based finetuning の適応速度・安定性の限界は要旨からは不明 - 実機実験のタスク数・被験条件・統計的有意性は要旨からは不明 - 失敗モードや安全面の議論は要旨からは不明

6. 次に読むべき論文は?

- goal-conditioned policy の代表的手法(例: Goal-Conditioned Supervised Learning, Hindsight Experience Replay) - visual world model を用いた manipulation(例: video prediction / model-based planning 系) - LoRA による parameter-efficient finetuning の原論文 - hindsight goal relabeling の原論文 - multi-scale temporal abstraction を用いた階層的制御の関連研究

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Pengfei Zhou, Liliang Chen, Shengcong Chen, Di Chen, Wenzhi Zhao, Rongjun Jin, Guanghui Ren, Jianlan Luo

分類: cs.RO, cs.AI

原文アブストラクト

Specifying robotic manipulation tasks in a manner that is both expressive and precise remains a central challenge. While visual goals provide a compact and unambiguous task specification, existing goal-conditioned policies often struggle with long-horizon manipulation due to their reliance on single-step action prediction without explicit modeling of task progress. We propose Act2Goal, a general goal-conditioned manipulation policy that integrates a goal-conditioned visual world model with multi-scale temporal control. Given a current observation and a target visual goal, the world model generates a plausible sequence of intermediate visual states that captures long-horizon structure. To translate this visual plan into robust execution, we introduce Multi-Scale Temporal Hashing (MSTH), which decomposes the imagined trajectory into dense proximal frames for fine-grained closed-loop control and sparse distal frames that anchor global task consistency. The policy couples these representations with motor control through end-to-end cross-attention, enabling coherent long-horizon behavior while remaining reactive to local disturbances. Act2Goal achieves strong zero-shot generalization to novel objects, spatial layouts, and environments. We further enable reward-free online adaptation through hindsight goal relabeling with LoRA-based finetuning, allowing rapid autonomous improvement without external supervision. Real-robot experiments demonstrate that Act2Goal improves success rates from 30% to 90% on challenging out-of-distribution tasks within minutes of autonomous interaction, validating that goal-conditioned world models with multi-scale temporal control provide structured guidance necessary for robust long-horizon manipulation. Project page: https://act2goal.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI