日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

自動修復arXiv:2610.16369

RoboBugBench:監査済み行動オラクル下での実ロボットソフトウェア自動修復のベンチマーク

RoboBugBench: Benchmarking Automated Repair of Real Robot Software Under an Audited Behavioral Oracle

シェア:XThreadsFacebookLINEはてブBluesky

ROS 2ナビゲーションスタックの実バグ33件を物理シミュレーションで評価する自動修復ベンチマークを構築し、言語モデルの修復率とオラクル設計の影響を分析した。

詳しい要約

1. どんなもの?

- ロボットソフトウェアの自動修復を評価するベンチマーク「RoboBugBench」を提案。 - ROS 2 navigation stackにおける33の実バグを収録。 - パッチの評価はユニットテストではなく、コンパイルと物理シミュレーションでのロボット動作で行う。 - 3つの最先端モデルが1回の試行で修復できる割合は24.2%から36.4%で、モデル間の有意差はない。 - 難易度はドメインではなくオラクルに依存し、プロセス生存で評価した場合は66.7%、ロボットの行動で評価した場合は22.2%であった(インスタンスレベルp=0.0027)。

2. 先行研究と比べてどこがすごい?

- 従来、ロボットソフトウェアの自動修復は測定されていなかった。 - ドメインに継承できるオラクルがなく、ロボットリポジトリにはバグを捉えるテストがほとんどないため。 - 本研究は、実行検証済みの欠陥を集めたベンチマークを提供し、物理シミュレーションによる行動オラクルで評価する点が新しい。 - オラクルを継承ではなく構築し、敵対的に監査した点も先行研究にない。

3. 技術・手法の肝は?

- 33の実欠陥をピン留めしたROS 2 navigation stackから収集。 - 候補パッチをコンパイルし、物理シミュレーションでロボットを走行させて評価。 - オラクルはプロセス生存やロボットの行動に基づく基準で構成。 - 敵対的監査により、偽造パッチ(欠陥を修復せず失敗を抑制するパッチ)を検出。 - 出荷ルールでは11/11の偽造パッチを受け入れるが、同じデータに対する分布的ルールでは4つを拒否し、偽拒否のコストはない。 - 残差は観測可能性の限界であり、識別はより厳しい基準ではなく計装によって買う必要がある。

4. どうやって有効だと検証した?

- 3つの最先端モデルに1インスタンスあたり1回の試行を与え、修復率を測定。 - 修復率は24.2%から36.4%で、ペアワイズな有意差はなし。 - オラクルの種類による難易度の差を統計的に検証(p=0.0027)。 - 敵対的監査により、偽造パッチの受け入れ率を評価。 - 分布的ルールが偽造パッチを拒否できることを示した。

5. 議論はある?

- 修復率は上限と下限の境界である:オラクルが区別できないものにより過大評価され、実行間ノイズ下での全会一致による正しい修正の拒否により過小評価される。 - 観測可能性の限界が残差として存在し、観測チャネルが捨てる情報は述語では回復できない。 - 識別能力はより厳しい基準ではなく、計装によって向上させる必要がある。 - オラクルの設計と監査の重要性を議論。

6. 次に読むべき論文は?

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、ROS 2 navigation stack、物理シミュレーション、言語エージェントによる自動プログラム修復(Automated Program Repair)が挙げられる。 - 同分野の定番として、ROS 2、Gazeboなどのロボットシミュレータ、および自動修復ベンチマーク(例:Defects4J)が考えられる。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Alexey Tuzikov

分類: cs.RO

原文アブストラクト

Language agents increasingly modify robot software, but whether they can repair it is unmeasured, because the domain supplies no oracle to inherit: a robot bug manifests as behavior, and robot repositories ship almost no tests that capture it. We present RoboBugBench, a benchmark of 33 real, execution-validated defects in a pinned ROS 2 navigation stack, in which a candidate patch is graded by compiling it and driving the robot through a physics simulation rather than by running a unit test. Three frontier models, each given 1 attempt per instance, repair 24.2%-36.4%, with no pairwise difference significant; difficulty tracks the oracle rather than the domain, at 66.7% on instances graded by process survival against 22.2% on those graded by what the robot did (instance-level p = 0.0027). Because the oracle is constructed rather than inherited we audit it adversarially, and report the decomposition that audit yields: counterfeit patches which suppress a failure without repairing the defect are accepted by the shipped rule 11/11, while a distributional rule over the same data rejects 4 at no cost in false rejects. The residual is an observability bound (what the observation channel discards, no predicate over it can recover), so discrimination must be bought with instrumentation rather than stricter criteria, and our repair rates are bounds: inflated by what the oracle cannot distinguish, deflated by unanimity's rejection of correct fixes under run-to-run noise. We release the corpus, criterion batteries, counterfeit suite and cached telemetry.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI