日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

模倣学習/能動視覚/ベンチマークarXiv:2605.07943

TAVIS: 模倣学習における自己中心視覚と予期的注視のベンチマーク

TAVIS: A Benchmark for Egocentric Active Vision and Anticipatory Gaze in Imitation Learning

シェア:XThreadsFacebookLINEはてブBluesky

模倣学習における能動視覚の評価基盤TAVISを提案し、頭部・手首カメラの2つのタスク群と予期的注視を測る新指標GALTを導入した。

詳しい要約

1. どんなもの?

- TAVISは、模倣学習における能動的視覚(active vision)と予期的注視(anticipatory gaze)を評価するためのベンチマーク。 - 2つのタスクスイート:TAVIS-Head(5タスク、pan/tiltネックによるグローバル探索)とTAVIS-Hands(3タスク、wristカメラによる局所遮蔽)。 - 2つのヒューマノイド胴体(GR1T2, Reachy2)上で、IsaacLabを基盤に構築。 - 3つの評価プリミティブ:同一デモでのheadcam vs fixedcamペアプロトコル、GALT(Gaze-Action Lead Time)指標、手続き的ID/OOD分割。 - コード、評価スクリプト、デモ(LeRobot v3.0、約2200エピソード)、学習済みベースラインを公開。

2. 先行研究と比べてどこがすごい?

- 従来、能動的視覚の利点を示す独立したシステムは複数あったが、アプローチを比較したり、どのタスクタイプでどの条件で能動的視覚が寄与するかを定量化する共有ベンチマークは存在しなかった。 - TAVISは、そのような共有評価基盤を初めて提供する点が新しい。 - 具体的な先行研究名は要旨からは不明。

3. 技術・手法の肝は?

- 2つのタスクスイート(TAVIS-Head, TAVIS-Hands)を2つのヒューマノイド胴体(GR1T2, Reachy2)上でIsaacLabを用いて構築。 - 評価プリミティブとして、同一デモでのheadcam vs fixedcamペアプロトコル、GALT(Gaze-Action Lead Time)指標、手続き的ID/OOD分割を提供。 - GALTは認知科学とHRIに基づく新指標で、学習方策の予期的注視を定量化する。 - ベースラインとしてDiffusion Policyとπ0を用いる。

4. どうやって有効だと検証した?

- Diffusion Policyとπ0によるベースライン実験を実施。 - 結果として、(i) 能動的視覚は一般に有効だが、その利点はタスク依存的であり一様ではない、(ii) マルチタスク方策は両スイートで制御された分布シフト下で急激に性能低下する、(iii) 模倣学習のみで予期的注視が得られ、中央値リードタイムは人間のテレオペレータ参照と同等であることを示した。

5. 議論はある?

- 能動的視覚の利点はタスク依存的であり、一様ではないことが議論されている。 - マルチタスク方策が分布シフト下で急激に劣化する点も議論。 - 模倣学習のみで予期的注視が得られること、そのリードタイムが人間テレオペレータと同等である点も議論。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究:Diffusion Policy、π0。 - 関連手法:模倣学習(imitation learning)、能動的視覚(active vision)、予期的注視(anticipatory gaze)。 - その他の具体的な論文は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Giacomo Spigler

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Active vision -- where a policy controls its own gaze during manipulation -- has emerged as a key capability for imitation learning, with multiple independent systems demonstrating its benefits in the past year. Yet there is no shared benchmark to compare approaches or quantify what active vision contributes, on which task types, and under what conditions. We introduce TAVIS, evaluation infrastructure for active-vision imitation learning, with two complementary task suites -- TAVIS-Head (5 tasks, global search via pan/tilt necks) and TAVIS-Hands (3 tasks, local occlusion via wrist cameras) -- on two humanoid torso embodiments (GR1T2, Reachy2), built on IsaacLab. TAVIS provides three evaluation primitives: a paired headcam-vs-fixedcam protocol on identical demonstrations; GALT (Gaze-Action Lead Time), a novel metric grounded in cognitive science and HRI that quantifies anticipatory gaze in learned policies; and procedural ID/OOD splits. Baseline experiments with Diffusion Policy and $\pi_0$ reveal that (i) active-vision generally helps, but benefits are task-conditional rather than uniform; (ii) multi-task policies degrade sharply under controlled distribution shifts on both suites; and (iii) imitation alone yields anticipatory gaze, with median lead times comparable to the human teleoperator reference. Code, evaluation scripts, demonstrations (LeRobot v3.0; ~2200 episodes) and trained baselines are released at https://github.com/spiglerg/tavis and https://huggingface.co/tavis-benchmark.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  4. 4GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  5. 5Google DeepMind、ロボット向けAIを発表新製品・発表

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI