日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.00604

MIKASA-Robo-VLA:長期的マニピュレーションにおけるVLAモデルの記憶能力を評価するベンチマーク

MIKASA-Robo-VLA: Benchmarking Memory in VLA Models for Long-Horizon Manipulation

シェア:XThreadsFacebookLINEはてブBluesky

言語条件付きマニピュレーション90タスクからなるベンチマークを構築し、タスク遂行に必要な手がかりを隠すことでVLAモデルの記憶能力を評価する。

詳しい要約

1. どんなもの?

- 90個のlanguage-conditioned manipulationタスクからなるbenchmark「MIKASA-Robo-VLA」を提案。 - 大半(80/90)のタスクで、actionが依存するcueを隠す設計。 - 残り10はcueを保持するreactive control。 - 元suite「MIKASA-Robo」は32タスクで、languageは代表的なVLA subsetのみで使用。 - 本benchmarkでは全タスクにinstructionを付与。 - memory依存タスクはtask-relevant cueを隠し、reactive controlはcueを利用可能に保つ。 - 70タスクでenvironment phase timingsがinformation gapを規定。 - 22,500 oracle trajectoriesを10 memory typesにわたりRLDSとLeRobotDataset v3で公開。

2. 先行研究と比べてどこがすごい?

- 既存VLAは直近1〜数フレームのみを見ることが多く、タスク中に消える情報の利用を評価しにくい。 - 本benchmarkはmemory依存タスクとreactive controlを対比させ、memory要求を明示的に評価可能。 - 70タスクでinformation gapを規定し、28タスクではgapが調査した最大のfixed-context VLAの16-frame windowを超える。 - gapはcueが確実に不在の区間のみを数え、保持期間全体ではない点で厳密。 - これにより短いgapでもmemory依存タスクは構成上必ずmemoryを要する。

3. 技術・手法の肝は?

- 90のlanguage-conditioned manipulationタスクを設計。 - 80タスクでaction依存cueを隠し、10タスクはreactive controlとしてcueを保持。 - 全タスクにinstructionを付与。 - 70タスクでenvironment phase timingsによりinformation gapを指定。 - 28タスクでgapが16-frame windowを超過。 - 10種類のmemory typesにわたる22,500 oracle trajectoriesをRLDSとLeRobotDataset v3で提供。 - 参照baselineとしてπ_{0.5}を14タスクでfine-tune。current imagesとproprioceptionを使用し、observation historyや明示的memory moduleは使わない。

4. どうやって有効だと検証した?

- 参照π_{0.5} baselineを14タスクでfine-tuneし、mean task success 0.211 ± 0.044を達成。 - 評価されたLong-splitタスクでの低いsuccessは、open-loop chunkingとそのsubsetに含まれるmemory typesに交絡。 - 有効性の検証はbenchmark設計とbaseline評価により実施。 - 詳細なablationや他手法との比較は要旨からは不明。

5. 議論はある?

- Long-splitタスクでの低successはopen-loop chunkingとmemory typesの交絡があり、解釈に注意が必要。 - gapはcueが確実に不在の区間のみを数え、保持期間全体ではない。 - 短いgapでもmemory依存タスクは構成上memoryを要する。 - その他の議論や限界は要旨からは不明。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究: MIKASA-Robo、π_{0.5}、fixed-context VLA。 - 関連手法としてRLDS、LeRobotDataset v3が挙げられる。 - 同分野の定番としてVision-Language-Action policies、memory-augmented VLA、long-horizon manipulation benchmarksが次に読むべき候補。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Egor Cherepanov, Nikita Kachaev, Aleksandr I. Panov, Alexey K. Kovalev

分類: cs.LG, cs.AI, cs.RO

原文アブストラクト

Vision-language-action policies often see only one or a few recent frames, which makes it difficult to evaluate how they use information that disappears during a task. We introduce MIKASA-Robo-VLA, a benchmark of 90 language-conditioned manipulation tasks. All but 10 hide the cue an action depends on. Those 10 are reactive controls. MIKASA-Robo, the suite it rebuilds, has 32 tasks and uses language only in a representative VLA subset. Here every task provides an instruction, while memory-dependent tasks hide a task-relevant cue and reactive controls keep it available. For 70 tasks, environment phase timings specify an information gap, and for 28 of them the gap exceeds the 16-frame window of the widest fixed-context VLA we survey. The gap counts only the interval the cue is provably absent, not the full duration a policy must retain it, so every memory-dependent task still requires memory by construction, including the ones whose measured gap is short. We release 22,500 oracle trajectories across 10 memory types in RLDS and LeRobotDataset v3. A reference $π_{0.5}$ baseline with current images and proprioception, but no observation history or explicit memory module, is fine-tuned on 14 tasks and achieves 0.211 $\pm$ 0.044 mean task success. Its lower success on the evaluated Long-split tasks is confounded by open-loop chunking and the memory types represented in that subset. Project page: https://mikasarobo.github.io/

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI