日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作/ベンチマークarXiv:2604.16788

LongBench: 実世界の長時間ホライズンタスクにおけるロボット操作ポリシーの評価

LongBench: Evaluating Robotic Manipulation Policies on Real-World Long-Horizon Tasks

シェア:XThreadsFacebookLINEはてブBluesky

実世界の長時間操作タスクを評価するベンチマークLongBenchを提案し、実行堅牢性と文脈依存推論の要因を分離して分析した。

詳しい要約

1. どんなもの?

- 実世界の長期的操作タスクを評価するベンチマーク LongBench を提案。 - 1,000以上の実世界エピソードを含み、Context-Independent(完全観測可能)と Context-Dependent(曖昧性駆動)の2領域をカバー。 - タスクを能力別・曖昧性別のサブセットに整理し、実行堅牢性、時間的一貫性、文脈依存推論をメカニズム志向で評価可能。

2. 先行研究と比べてどこがすごい?

- 従来のベンチマークはシミュレーション基盤か、集約的な成功率のみを報告するものが多い。 - そのため、実世界実行における時間的困難の異なる要因を切り分けるのが難しかった。 - LongBench は実世界エピソードを大規模に収集し、能力・曖昧性別のサブセットでメカニズムを意識した評価を可能にする点が新しい。

3. 技術・手法の肝は?

- 実世界の長期的操作タスクを対象に、1,000以上のエピソードを収集。 - Context-Independent(完全観測可能)と Context-Dependent(曖昧性駆動)の2つの相補的領域を設定。 - タスクを能力別および曖昧性別のサブセットに組織化し、実行堅牢性・時間的一貫性・文脈依存推論を個別に評価できるように設計。

4. どうやって有効だと検証した?

- 6つの最先端ポリシーを LongBench で評価。 - 長期的性能は単一の要因では決まらないことを示した。 - 完全観測可能設定での性能は実行堅牢性とより強く関連し、文脈的困難はタスク間で変動し、記憶ベース手法によって一貫して改善されるわけではないことを観察。

5. 議論はある?

- 長期的性能は単一要因で説明できず、実行堅牢性と文脈的困難が異なる影響を持つことを議論。 - 記憶ベース手法が文脈的困難を一貫して改善しない点を指摘。 - LongBench が長期的操作の研究と、実行・文脈両面の堅牢性を持つポリシー開発に有用なベンチマークとなることを期待。

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別の研究は明記されていない。 - 同分野の定番として、シミュレーション基盤の操作ベンチマーク(例: RLBench, Meta-World, CALVIN など)や、実世界操作ベンチマーク(例: RoboNet, BridgeData など)が関連する。 - 記憶ベース手法(例: memory-based policies)や長期的操作ポリシー(例: transformer-based policies)も次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Xueyao Chen, Jingkai Jia, Tong Yang, Yibo Fu, Wei Li, Wenqiang Zhang

分類: cs.RO

原文アブストラクト

Robotic manipulation policies often degrade over extended horizons, yet existing benchmarks provide limited insight into why such failures occur. Most prior benchmarks are either simulation-based or report aggregate success, making it difficult to disentangle the distinct sources of temporal difficulty in real-world execution. We introduce LongBench, a real-world benchmark for evaluating long-horizon manipulation. LongBench consists of over 1,000 real-world episodes, covering two complementary regimes: Context-Independent (fully observable) and Context-Dependent (ambiguity-driven). By organizing tasks into capability- and ambiguity-specific subsets, LongBench enables mechanism-aware evaluation of execution robustness, temporal consistency, and context-dependent reasoning. Evaluating six state-of-the-art policies reveals that long-horizon performance is not governed by a single factor. We observe that performance in fully observable settings is more strongly associated with execution robustness, while contextual difficulty varies across tasks and is not consistently improved by memory-based methods. We hope that LongBench serves as a useful benchmark for studying long-horizon manipulation and for developing policies with stronger robustness across both execution and contextual challenges.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI