コーディングエージェント/ベンチマーク2026/11/11arXiv:2611.16116

Robo-SWE: ロボットソフトウェアリポジトリから抽出した実行可能なIssue解決データセット

Robo-SWE: An Executable Issue-Resolution Dataset Mined from Robot Software Repositories

ROS 2やシミュレータなど28のロボット関連リポジトリのマージ済みPRから、修正前は失敗し修正後は成功するテスト付きのIssue解決タスク236件を構築し、複数のコーディングエージェントで評価したデータセット。

詳しい要約

1. どんなもの？

- ロボティクス向けの実行可能なissue解決タスクデータセット「Robo-SWE」 - 28の公開roboticsリポジトリのmerged pull requestから抽出した236タスク - 4領域: ROS 2 systems、simulation/physics engines、robotics algorithm libraries、robot-learning frameworks - 各タスクの構成 - 元のissueテキスト - 修正前commitのリポジトリ用container recipe - 開発者によるfixとテスト - テストは修正前fail・修正後passをオフライン反復実行で確認 - 付随物 - 1,567候補PRのprovenance ledger(到達段階と却下理由) - 5つのcoding-agent設定による3,540 graded attempts(3,529 trajectories) - 公開leaderboard

2. 先行研究と比べてどこがすごい？

- 既存のcoding agent評価はgeneral-purpose softwareが中心 - ドメイン固有システムにはドメイン認識型の評価が必要という問題意識 - robot software特有の難しさに対応 - ROS 2 packages固有のbuild tools - physics engines上のsimulators/learning frameworks - timing・hardware依存でテスト困難な挙動 - 先行研究との具体的比較は要旨からは不明 - ただし実行検証済みタスクとprovenance ledger、leaderboardを備える点を新規性として提示

3. 技術・手法の肝は？

- merged pull requestからのタスクマイニング - 修正前commitのcontainer recipeを用意し再現可能な環境を構築 - 開発者のfixとテストをペアで収録 - 実行によるタスク妥当性の担保 - テストが修正前fail・修正後passとなることをオフライン反復実行で確認 - provenance ledgerの保持 - 1,567候補PRの各段階と却下理由を記録 - 評価基盤 - 5つのcoding-agent設定でgraded attemptsを収集しleaderboard化

4. どうやって有効だと検証した？

- タスクの有効性は実行で検証 - 開発者テストが修正前fail・修正後passとなることを繰り返しオフライン実行で確認 - coding agentによる実測 - 主要設定3回実行のresolve rate: Claude Sonnet 5.5 45.8%、Claude Opus 5.5 56.5% - GPT-6.1 Sol: maximum effort 54.1%、medium effort 52.5% - GPT-6 Astra 51.4%、GLM-5.3 46.2%、Kimi K3.1 Pro 43.9% - 公平性の人手レビューによる検証はfuture workと明記

5. 議論はある？

- タスクの公平性検証が未完了 - human reviewersによるfairness verificationはfuture work - 評価の範囲・限界 - 対象は28リポジトリ・236タスク・4領域に限定 - timing/hardware依存挙動の扱いは要旨からは不明 - agent間の性能差 - resolve rateは43.9%〜56.5%で、設定やeffortにより変動 - 再現性・透明性 - provenance ledgerと却下理由の記録、leaderboard公開で議論可能な基盤を提供

6. 次に読むべき論文は？

- 要旨で参照/比較されている個別研究は明示されていない - 関連して読むべき候補(同分野の定番・一般名) - SWE-bench系のexecutable issue-resolutionベンチマーク - ROS 2およびrobotics simulation/physics engine関連のテスト基盤 - coding agentの評価手法・leaderboard研究 - 要旨記載の評価対象agent: Claude Sonnet 5.5、Claude Opus 5.5、GPT-6.1 Sol、GPT-6 Astra、GLM-5.3、Kimi K3.1 Pro

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Vahid Haratian, Vahid Ansari, Mohammadhossein Malmir, Alois Knoll

分類: cs.SE, cs.RO

原文アブストラクト

Coding agents are evaluated mostly on general-purpose software, but domain-specific systems require domain-aware evaluation. Robot software is a particularly challenging case: Robot Operating System 2 (ROS 2) packages have their own build tools, simulators and learning frameworks are built on physics engines, and behavior that depends on timing and hardware is hard to test. We present Robo-SWE, a dataset of 236 executable issue-resolution tasks mined from merged pull requests in 28 public robotics repositories in four domains: ROS 2 systems, simulation and physics engines, robotics algorithm libraries, and robot-learning frameworks. Each task contains the original issue text, a container recipe for the repository at the commit before the fix, the developers' fix, and the developers' tests, which fail before the fix and pass after it in repeated offline runs. The dataset also keeps a provenance ledger of all 1,567 candidate pull requests, with the stage each reached and the reason for every rejection, and, as a first use, 3,540 graded attempts by five coding-agent setups with recorded patches and 3,529 available trajectories. Across three runs per primary setup, resolve rates range from 45.8% for Claude Sonnet 5.5 to 56.5% for Claude Opus 5.5; GPT-6.1 Sol reaches 54.1% at maximum effort and 52.5% at medium effort, and GPT-6 Astra 51.4%. GLM-5.3 resolves 46.2%, and Kimi K3.1 Pro 43.9%. The tasks are validated by execution; verification of their fairness by human reviewers is future work. The dataset and public leaderboard are available online.

arXivで原文を読む →arXiv概要ページ

← 論文一覧