日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

マニピュレーションarXiv:2509.17783

RoboSeek: 物体と対話しながら学ぶロボットマニピュレーション

RoboSeek: You Need to Interact with Your Objects

シェア:XThreadsFacebookLINEはてブBluesky

3D再構成で実環境をシミュレーションに再現し、強化学習とクロスエントロピー法で方策を訓練、real2sim2real転移で実機に展開する長期マニピュレーションの枠組みを提案。

詳しい要約

1. どんなもの?

- ロボットマニピュレーションのための embodied action execution フレームワーク「RoboSeek」 - 対話的経験(interactive experience)を活用して manipulation タスクを遂行 - embodied cognition theory に動機づけられている - 長期的タスク(long-horizon tasks)を対象 - 逐次的意思決定、物理的制約、知覚的不確実性を含む - 構成要素 - 高レベル知覚モデルの prior knowledge を closed-loop training で最適化 - real2sim2real transfer pipeline により実世界実行を実現 - hardware-agnostic な設計

2. 先行研究と比べてどこがすごい?

- 対話駆動型のロボット学習、特に長期的タスクへの実用的アプローチは未開拓と位置づけ - 先行研究との具体的比較は要旨からは不明 - 主張される優位性 - 8つの長期的 manipulation タスクで平均成功率79% - baseline は50%未満にとどまり、大幅に上回る - タスク・プラットフォーム間の generalization と robustness を示す - 複数のロボットプラットフォームで評価され hardware-agnostic を実証

3. 技術・手法の肝は?

- 3D reconstruction により実環境を simulation 内に複製 - 視覚的・物理的に一貫した環境を提供 - simulation 内で reinforcement learning と cross-entropy method を用いて policy を訓練 - 視覚 prior を活用 - 学習した policy を実ロボットプラットフォームに展開 - real2sim2real transfer pipeline が中核 - 実→sim→実の閉ループで頑健な実世界実行を狙う - 高レベル知覚モデルの prior knowledge を closed-loop training で最適化

4. どうやって有効だと検証した?

- 8つの長期的 manipulation タスクで評価 - 逐次対話、tool use、object handling を含む - 複数のロボットプラットフォームで評価 - 平均成功率79%を達成 - baseline は成功率50%未満 - 複雑で動的な実世界設定での有効性と real2sim2real transfer 機構の安定性を実験結果が示す

5. 議論はある?

- 要旨からは不明 - 示唆される点 - 長期的タスクにおける逐次的意思決定・物理制約・知覚不確実性への対処 - real2sim2real transfer の安定性 - hardware-agnostic 性と generalization - 限界や失敗事例、sim-to-real gap の詳細な議論は要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として挙げられるもの - reinforcement learning - cross-entropy method - real2sim2real transfer - 3D reconstruction を用いた sim 環境構築 - 同分野の定番として検討すべき一般名 - sim-to-real transfer - imitation learning - model-based reinforcement learning - embodied cognition に基づくロボット学習

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yibo Peng, Jiahao Yang, Shenhao Yan, Ziyu Huang, Shuang Li, Shuguang Cui, Yiming Zhao, Yatong Han

分類: cs.RO

原文アブストラクト

Optimizing and refining action execution through exploration and interaction is a promising way for robotic manipulation. However, practical approaches to interaction-driven robotic learning are still underexplored, particularly for long-horizon tasks where sequential decision-making, physical constraints, and perceptual uncertainties pose significant challenges. Motivated by embodied cognition theory, we propose RoboSeek, a framework for embodied action execution that leverages interactive experience to accomplish manipulation tasks. RoboSeek optimizes prior knowledge from high-level perception models through closed-loop training in simulation and achieves robust real-world execution via a real2sim2real transfer pipeline. Specifically, we first replicate real-world environments in simulation using 3D reconstruction to provide visually and physically consistent environments, then we train policies in simulation using reinforcement learning and the cross-entropy method leveraging visual priors. The learned policies are subsequently deployed on real robotic platforms for execution. RoboSeek is hardware-agnostic and is evaluated on multiple robotic platforms across eight long-horizon manipulation tasks involving sequential interactions, tool use, and object handling. Our approach achieves an average success rate of 79%, significantly outperforming baselines whose success rates remain below 50%, highlighting its generalization and robustness across tasks and platforms. Experimental results validate the effectiveness of our training framework in complex, dynamic real-world settings and demonstrate the stability of the proposed real2sim2real transfer mechanism, paving the way for more generalizable embodied robotic learning. Project Page: https://russderrick.github.io/Roboseek/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI