日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

操作/ベンチマークarXiv:2606.26443

WatchAct: 行動に基づくロボット操作のベンチマーク

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

人間の行動ビデオと言語指示を組み合わせた、ロボット操作のための新しいベンチマークを提案し、シミュレーションと実機で評価した。

詳しい要約

1. どんなもの?

- 観察した人間行動に基づくロボットマニピュレーションのベンチマーク「WatchAct」を提案。 - 各インスタンスは実世界の人間行動動画・言語指示・対応するシミュレータシーン・実行可能なLIBEROタスクを組にする。 - 14タスク・4能力領域にわたる3,000のlong-horizonインスタンスで構成。 - 4領域はEvent Grounding、Procedural Reasoning、Implicit Intent Inference、Episodic Reasoning。

2. 先行研究と比べてどこがすごい?

- 従来のマニピュレーションベンチマークは指示と現在の単一画像を組にするのみで、観察した人間行動の推論を評価できなかった。 - WatchActは動画と言語指示を組にし、人間行動の推論を評価可能にする。 - シミュレータシーンと実行可能なLIBEROタスクを対応させ、スケーラブルで再現可能な評価を実現。

3. 技術・手法の肝は?

- 実世界の人間行動動画と言語指示を、対応するシミュレータシーンおよび実行可能なLIBEROタスクと整合させる。 - 認知的要求に基づき4能力領域(Event Grounding、Procedural Reasoning、Implicit Intent Inference、Episodic Reasoning)を設定。 - 分離評価プロトコルを提案し、(i)vision-language modelsによるvideo-to-plan推論、(ii)oracle plans下でのpolicy実行、(iii)統合planner-policyパイプラインによる完全タスク完了を別々に測定。

4. どうやって有効だと検証した?

- シミュレーションとFranka Research 3ロボットの両方で評価。 - 最良パイプラインGemini-3.1-Proとπ_{0.5}はシミュレーションでSR 16.3%、実機で14.0%。 - Gemini-3.1-ProのPlan SRは36.8%(人間は97.1%)。 - π_{0.5}はoracle plans下でTask SR 21.5%、out-of-domainシナリオで10.6%に低下。

5. 議論はある?

- 現在のシステムはWatchActを解くには程遠い。 - 最良パイプラインでもシミュレーション16.3%、実機14.0%のSRにとどまる。 - 人間のPlan SR 97.1%に対しGemini-3.1-Proは36.8%と大きな差。 - π_{0.5}はoracle plans下でも21.5%、out-of-domainで10.6%と低下。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: LIBERO、Gemini-3.1-Pro、π_{0.5}。 - 関連手法としてvision-language models、planner-policyパイプライン。 - 同分野の定番としてrobot manipulation benchmarks、long-horizonタスク評価。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

分類: cs.RO, cs.AI, cs.CV

原文アブストラクト

A robot working alongside people must reason about what they have done, in what order, and with what intent. Video carries the spatial layouts, object histories, and gestures that language leaves underspecified, yet today's manipulation benchmarks pair an instruction with a single current image, offering no way to evaluate reasoning over observed human behavior. We introduce WatchAct, a benchmark for robot manipulation grounded in observed human behavior. Each instance pairs a real-world human-action video and a language instruction with an aligned simulator scene and an executable LIBERO task, enabling scalable and reproducible evaluation. WatchAct comprises 3,000 long-horizon instances across 14 tasks in four capability domains drawn from the cognitive demands of watching another agent: parsing events (Event Grounding), recovering procedural structure (Procedural Reasoning), inferring unstated intent (Implicit Intent Inference), and tracking how the scene was changed (Episodic Reasoning). We further propose a disentangled evaluation protocol that separately measures (i)~video-to-plan reasoning by vision-language models, (ii)~policy execution under oracle plans, and (iii)~full task completion by integrated planner--policy pipelines. In both simulation and on a Franka Research 3 robot, current systems remain far from solving WatchAct. The best pipeline, Gemini-3.1-Pro with $\pi_{0.5}$, reaches only 16.3% Success Rate (SR) in simulation and 14.0% on the real robot. Gemini-3.1-Pro attains just 36.8% Plan SR (vs. 97.1% for humans), while $\pi_{0.5}$ reaches only 21.5% Task SR under oracle plans and drops to 10.6% on out-of-domain scenarios. Dataset and code are available at https://baiqi-li.github.io/watchact_page/.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI