日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ベンチマークarXiv:2608.08036

身体性エージェントのためのタスク状態地平線のコンパイルとベンチマーク

Compiling and Benchmarking Task-State Horizons for Embodied Agents

シェア:XThreadsFacebookLINEはてブBluesky

ロボットの長期的タスクにおける難易度を、行動系列の長さではなく追跡すべきタスク関連状態遷移の範囲(タスク状態地平線)で定義し、その依存関係をグラフに変換するコンパイラとベンチマークを構築した。

詳しい要約

1. どんなもの?

本論文は、長期的な身体的タスクにおけるエージェントの性能を評価するための新しい指標であるtask-state horizon (TSH)を提案し、それを用いたベンチマークRoboGraphを構築した研究である。TSHは、エージェントが追跡すべきタスク関連の状態遷移の範囲を定義する。RoboGraphは、状態遷移の依存関係を実行可能なシンボリックグラフに変換するロボットタスクコンパイラであり、空間的・時間的な因果依存関係からTSHを構築する。さらに、588エピソード、84シーンからなるベンチマークを公開し、15の先進的なエージェントモデルを評価した。

2. 先行研究と比べてどこがすごい?

既存のロボットベンチマークは、アクション系列の長さやサブタスクの複雑さで難易度を特徴づけていたが、エージェントの探索や環境ダイナミクスによって引き起こされるタスク関連の世界状態の変化を追跡するという課題を考慮していなかった。本研究は、TSHという新しい指標を導入し、この見落とされていた課題に焦点を当てた点が革新的である。また、RoboGraphは、予期しない失敗や介入を含む因果依存関係を扱うことで、より現実的なタスク状態の追跡を評価できる。

3. 技術・手法の肝は?

手法の核は、RoboGraphというタスクコンパイラである。これは、状態遷移の依存関係をシンボリックグラフに変換し、空間的・時間的な因果依存関係からTSHを構築する。具体的には、タスク実行中に発生する予期しない失敗や介入によって誘発される状態遷移も含む。これにより、エージェントが追跡すべき状態の範囲を定量化する。ベンチマークは、このRoboGraphを用いて生成された588エピソード(84シーン)で構成され、TSHの異なるレベルでエージェントの性能を評価する。

4. どうやって有効だと検証した?

15の先進的なエージェントモデルを、セマンティックおよびビジュアルのクローズドループ環境で評価した。その結果、ほとんどのモデルが高いTSHを要求されるタスクで苦戦し、長期的なタスク関連状態の維持、探索、更新における大きなギャップが明らかになった。これにより、TSHがエージェントの性能を評価する上で有効な指標であることを示した。

5. 議論はある?

要旨からは、TSHの定義やRoboGraphの設計に関する議論は不明である。しかし、実験結果から、現在のエージェントモデルは高いTSHを扱う能力が不足していることが示唆され、今後の研究では、状態追跡能力を向上させる必要があると考えられる。また、ベンチマークの規模や多様性に関する議論も要旨からは不明である。

6. 次に読むべき論文は?

要旨で参照されている先行研究は明示されていないが、関連する分野として、長期的なロボットタスクのベンチマーク(例:ALFRED, BEHAVIOR)や、エージェントの計画・実行モデル(例:SayCan, Inner Monologue)が挙げられる。また、状態追跡や部分観測マルコフ決定過程(POMDP)に関する研究も関連する。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Meiqi Wang, Shichao Li

分類: cs.RO

原文アブストラクト

Frontier agentic models are increasingly deployed as high-level planners for long-horizon embodied tasks. Existing robotic benchmarks have advanced long-horizon evaluation, but primarily characterize difficulty through action-sequence length and subtask complexity, overlooking a distinct challenge: agents must track evolving task-relevant world states induced by both their exploration and environmental dynamics. We define the span of task-relevant state transitions that an agent must track as task-state horizon (TSH). To evaluate how agent performance varies with TSH, we introduce RoboGraph, a robotic task compiler that translates state-transition dependencies into executable symbolic graphs. Specifically, RoboGraph constructs task-state horizons from spatial and temporal causal dependencies, including those induced by unexpected failures and interventions during task execution. Building on RoboGraph, we release a benchmark comprising 588 episodes across 84 scenes with varying TSHs. Experiments evaluating 15 advanced agentic models in both semantic and visual closed-loop environments show that most models struggle with demanding TSHs, revealing substantial gaps in maintaining, exploring, and updating task-relevant state over long horizon.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI