日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

VLAarXiv:2610.37917

本当に重要なのは何か?BEHAVIOR-1Kにおけるπ0.5の推論設定のペア評価

What Actually Matters? A Paired Evaluation of Inference Settings for $π_{0.5}$ on BEHAVIOR-1K

シェア:XThreadsFacebookLINEはてブBluesky

BEHAVIOR-1Kの全100タスクでVLAモデルπ0.5の推論・データ収集戦略を体系的にペア評価し、既存戦略が新しい環境やタスクに一様には転用できないことを示した。

詳しい要約

1. どんなもの?

- 対象は Vision-Language-Action (VLA) モデルの推論・データ収集戦略の大規模タスク群での有効性検証 - BEHAVIOR-1K の全 100 タスクを対象に、既提案の推論設定・データ収集戦略を paired evaluation で体系的に比較 - 使用モデルは 2025 BEHAVIOR Challenge 優勝構成を基に fine-tune した $π_{0.5}$ - public test set で Q-score 0.39 を達成 - 小規模設定で有効だった戦略が大規模・多様タスク群に一様に転移するかを問う研究

2. 先行研究と比べてどこがすごい?

- 従来の推論・データ収集戦略は小規模設定で提案・検証されてきた点を問題視 - 本研究は BEHAVIOR-1K の全 100 タスクという大規模かつ多様なタスク群で再評価 - paired evaluation により戦略間の比較を統制された条件で実施 - 2025 BEHAVIOR Challenge 優勝構成の $π_{0.5}$ を基盤とし、実戦的な設定で検証 - 結果として既提案戦略が新しい環境・タスクへ一様に転移しないことを示した点が特徴 - 具体的な先行研究名・比較対象は要旨からは不明

3. 技術・手法の肝は?

- fine-tuned $π_{0.5}$ モデルを評価基盤として使用 - 2025 BEHAVIOR Challenge 優勝モデルを基に構築 - BEHAVIOR-1K の全 100 タスクを対象に評価 - 既提案の inference settings と data-collection strategies を paired evaluation で比較 - public test set 上で Q-score を指標に評価 - 戦略の転移性を環境・タスク間で検証する設計 - 個々の推論設定・データ収集戦略の詳細は要旨からは不明

4. どうやって有効だと検証した?

- BEHAVIOR-1K の全 100 タスクで paired evaluation を実施 - fine-tuned $π_{0.5}$ が public test set で Q-score 0.39 を達成 - 複数の推論設定・データ収集戦略を同一条件で比較 - 新環境・新タスクへの転移の一様性を検証 - 詳細な分析・動画・プロジェクトページを公開 - 個別戦略ごとの定量的結果の内訳は要旨からは不明

5. 議論はある?

- 小規模設定で提案された戦略が大規模・多様タスク群へ一様に転移しないことを示唆 - 推論設定・データ収集戦略の再設計や大規模タスク群での再検証の必要性を示す - Q-score 0.39 という性能水準の解釈や上限は要旨からは不明 - 各戦略がどの環境・タスクで有効/無効かは要旨からは不明 - 計算コストやデータ収集コストに関する議論は要旨からは不明

6. 次に読むべき論文は?

- 2025 BEHAVIOR Challenge の関連研究・優勝手法 - $π_{0.5}$ の原論文および fine-tuning 手法 - BEHAVIOR-1K ベンチマーク関連研究 - Vision-Language-Action (VLA) モデル全般の推論設定に関する研究 - データ収集戦略 (data-collection strategies) に関する先行研究 - 具体的な参照論文名は要旨からは不明

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Ruben Hammele, Samira Huber, Mohammad Nazeri, Amirreza Payandeh, Alexandyr T. Card, Aaron Nguyen, Anuj Pokhrel, Daeun Song, Xuesu Xiao, Sören Pirk

分類: cs.RO, cs.AI, cs.CV, cs.LG

原文アブストラクト

Vision-Language-Action (VLA) models offer a promising paradigm for general-purpose household robotics. However, inference and data-collection strategies that have been deployed in smaller-scale settings do not necessarily generalize to large-scale, diverse task suites. To address this gap, we conduct a systematic, paired evaluation of previously proposed inference and data-collection strategies across all 100 tasks. Our evaluation uses a fine-tuned $π_{0.5}$ model based on the 2025 BEHAVIOR Challenge winner, which achieves a Q-score of 0.39 on the public test set. These results show that proposed strategies do not transfer uniformly to new environments and tasks. Project page, videos, and detailed analysis: https://rubenhammele.github.io/behavior2026

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI