日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2511.17079

H-GAR: 目標駆動型の観測・行動洗練による階層的インタラクションフレームワーク

H-GAR: A Hierarchical Interaction Framework via Goal-Driven Observation-Action Refinement for Robotic Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

目標観測と粗い行動スケッチを起点に、観測と行動を相互に洗練させる階層的フレームワークを提案し、ロボットマニピュレーションの精度を向上させた。

詳しい要約

1. どんなもの?

- ロボットマニピュレーション向けの video と action の統合予測モデル - 将来観測を planning の文脈手がかり、action を環境との相互作用として扱う - 既存手法の課題: observation と action の生成が monolithic かつ goal-agnostic - 意味的に misaligned な予測や非一貫な挙動を招く - 提案: H-GAR (Hierarchical interaction framework via Goal-driven observation-Action Refinement) - goal observation と coarse action sketch をまず生成し、coarse-to-fine で精緻化 - 2 つのモジュール GOS と IAAR で observation-action の明示的相互作用を実現 - シミュレーションと実世界の両方で state-of-the-art を達成と主張

2. 先行研究と比べてどこがすごい?

- 既存の video/action 統合予測は observation と action 生成を monolithic かつ goal-agnostic に扱う - その結果、意味的に misaligned な予測や非一貫な挙動が生じる - H-GAR は予測を task objective に anchor する - まず goal observation と coarse action sketch で高レベルな経路を描く - goal observation の guidance 下で observation と action を明示的に相互作用させる点が差分 - GOS と IAAR の 2 モジュールで coarse-to-fine に精緻化 - 結果としてより正確な manipulation を可能にし、simulation と real-world で SOTA と報告 - 具体的な比較対象手法名は要旨からは不明

3. 技術・手法の肝は?

- 階層的 (hierarchical) な coarse-to-fine パイプライン - 第一段: goal observation と coarse action sketch を生成し高レベル経路を提示 - Goal-Conditioned Observation Synthesizer (GOS) - coarse-grained actions と予測された goal observation に基づき intermediate observations を合成 - Interaction-Aware Action Refiner (IAAR) - intermediate observations からの feedback を利用し coarse actions を fine-grained かつ goal-consistent な action に精緻化 - Historical Action Memory Bank が prior actions を符号化し temporal consistency を担保 - goal grounding と明示的な…

4. どうやって有効だと検証した?

- simulation および real-world の robotic manipulation タスクで実験 - 両設定で H-GAR が state-of-the-art performance を達成したと報告 - 具体的なタスク名・データセット名・評価指標・ベースラインは要旨からは不明 - アブレーション等の詳細な検証内容は要旨からは不明

5. 議論はある?

- 要旨からは不明 - 限界・失敗事例・計算コスト・real-world での汎化性に関する議論は明記されていない - 主張として monolithic かつ goal-agnostic な既存手法の misalignment を H-GAR が緩和すると述べるにとどまる - Historical Action Memory Bank の設計や GOS/IAAR の寄与度に関する定量的議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照/比較されている個別研究は明示されていない - 関連手法として次を検討: - unified video and action prediction models (video-action 統合予測) - goal-conditioned policy / goal-conditioned imitation learning - hierarchical policy (coarse-to-fine planning) - action refinement / diffusion policy 系の action 精緻化 - memory-augmented policy (temporal consistency 向け) - 具体的な論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yijie Zhu, Rui Shao, Ziyang Liu, Jie He, Jizhihui Liu, Jiuru Wang, Zitong Yu

分類: cs.RO

原文アブストラクト

Unified video and action prediction models hold great potential for robotic manipulation, as future observations offer contextual cues for planning, while actions reveal how interactions shape the environment. However, most existing approaches treat observation and action generation in a monolithic and goal-agnostic manner, often leading to semantically misaligned predictions and incoherent behaviors. To this end, we propose H-GAR, a Hierarchical interaction framework via Goal-driven observation-Action Refinement.To anchor prediction to the task objective, H-GAR first produces a goal observation and a coarse action sketch that outline a high-level route toward the goal. To enable explicit interaction between observation and action under the guidance of the goal observation for more coherent decision-making, we devise two synergistic modules. (1) Goal-Conditioned Observation Synthesizer (GOS) synthesizes intermediate observations based on the coarse-grained actions and the predicted goal observation. (2) Interaction-Aware Action Refiner (IAAR) refines coarse actions into fine-grained, goal-consistent actions by leveraging feedback from the intermediate observations and a Historical Action Memory Bank that encodes prior actions to ensure temporal consistency. By integrating goal grounding with explicit action-observation interaction in a coarse-to-fine manner, H-GAR enables more accurate manipulation. Extensive experiments on both simulation and real-world robotic manipulation tasks demonstrate that H-GAR achieves state-of-the-art performance.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI