日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

コード生成/強化学習arXiv:2607.02390

DecompRL: モジュール型コード生成の学習による難問解決

DecompRL: Solving Harder Problems by Learning Modular Code Generation

シェア:XThreadsFacebookLINEはてブBluesky

LLMが解けない問題を、問題を小さなモジュールに分解して再結合することで解く強化学習アルゴリズムDecompRLを提案。GPUコストを約50倍削減し、標準的な生成では解けない問題を解決する。

詳しい要約

1. どんなもの?

DecompRLは、Large Language Models (LLMs)が現在解けない問題を解決するための強化学習(RL)アルゴリズムである。問題をより小さな独立に解けるサブ関数に分解し、それらの実装を階層的なコード構造として生成・再結合することを明示的に学習する。これにより、モジュールの実装を組み合わせて多数の候補解を生成し、GPU推論コストを削減しつつ、標準的な生成では到達できない問題を解くことを目指す。

2. 先行研究と比べてどこがすごい?

従来の手法は、繰り返しサンプリングによるtest-time computeの増加や、verifiable rewardsを用いたRLによる単一試行精度の向上を図るが、どちらもベースポリシーが正解を生成する確率がほぼゼロの場合には失敗する。DecompRLは、問題を分解してタスクを容易にすることで、探索空間を縮小し、サンプリングや勾配信号の限界を克服する点が新しい。また、モジュールの再結合により候補解を指数関数的に増やし、GPUコストをCPU評価にシフトする点も独自性がある。

3. 技術・手法の肝は?

DecompRLは、階層的なコード構造を分解・実装することを明示的に学習するRLアルゴリズムである。具体的には、問題を複数のサブ関数に分解し、各サブ関数の実装を生成する。生成されたモジュールの実装を再結合することで、最大k^n個の候補解を生成する。これにより、GPUトークンコストを約50倍削減し、ボトルネックをGPU推論から安価なCPU評価に移す。

4. どうやって有効だと検証した?

LiveCodeBenchとCodeContestsのベンチマークで、Qwen 2.5 7BとCode World Model 32Bを用いて評価した。標準的なRLベースラインや多様性を最適化したRLベースラインと比較し、問題あたり10^5トークンを超える設定でDecompRLが優れた性能を示し、標準的な生成では到達できない問題を解決できることを実証した。

5. 議論はある?

要旨からは、分解の粒度やモジュール間の依存関係の扱い、分解が失敗した場合の影響、実世界の複雑な問題への適用可能性などについての議論は不明である。また、CPU評価へのシフトによる計算時間の増加や、モジュールの再利用性の限界についても言及されていない。

6. 次に読むべき論文は?

要旨で参照されている研究は、RL with verifiable rewardsやdiversity-optimized RL、標準的なサンプリング手法である。次に読むべき論文としては、これらの基盤となるRLアルゴリズム(例: PPO)や、コード生成におけるLLMの分解手法に関する研究が考えられるが、具体的なタイトルは要旨からは不明である。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Juliette Decugis, Fabian Gloeckle, Francis Bach, Taco Cohen, Gabriel Synnaeve

分類: cs.LG

原文アブストラクト

How can Large Language Models (LLMs) solve problems they currently cannot? Repeated sampling scales test-time compute but GPU cost grows linearly with attempts, while reinforcement learning (RL) with verifiable rewards improves single-attempt accuracy at the expense of sample diversity. Both strategies ultimately fail when the base policy has near-zero probability of producing a correct solution: no amount of sampling or gradient signal can overcome a search space that is simply too large. We take a different approach: rather than sampling harder, we make the task easier by decomposing problems into smaller, independently solvable sub-functions whose implementations can be recombined. Since off-the-shelf models are not trained for this modular generation, we introduce DecompRL, an RL algorithm that explicitly learns to decompose and implement hierarchical code structures. Recombining $k$ implementations of $n$ modules yields up to $k^{n}$ candidate solutions, shifting the bottleneck from GPU inference to cheap CPU evaluation and cutting GPU token cost by $\sim$50$\times$. On LiveCodeBench and CodeContests (Qwen~2.5~7B, Code World Model~32B), DecompRL outperforms standard and diversity-optimized RL baselines beyond $10^5$ tokens per problem, solving problems that standard generation cannot reach.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

FRONTIER(GPU搭載BTOパソコン)

FRONTIER(GPU搭載BTOパソコン)の公式広告バナーFRONTIERでGPU搭載PCを見る ↗
PR本紙発行元 EmplifAI