ループに留まる必要はない：ロボットポリシー改善のためのエージェント型ロボティクスループ

本論文は、ロボットポリシー改善のためのエージェント制御プレーン「AgenticRobotics」を提案する。ソフトウェア開発におけるClaude CodeやCodexのようなコーディングエージェントのアーキテクチャ（メインエージェントがループを管理し、サブエージェントが分析・実行、ツールが作業を行う）をロボットポリシー改善に移植する。ロボットツール（訓練済みポリシー、訓練パイプライン、データ収集）は頻繁に失敗するため、ツールの品質を各呼び出しで測定・記録し、その背後にあるアーティファクトが変更されたら失効させる必要がある。AgenticRoboticsはバックエンド非依存の制御プレーンであり、LLMコントローラが使い捨てワーカーを駆動して、永続的なtrain-evaluate-improveトランザクション（不変の目的、コントローラ所有の測定、コミットキーによるクラッシュリカバリ、エビデンス段階付きスキルライブラリ、標準化された記録済み呼び出し面を持つツールレジストリ）を実行する。

先行研究のロボットポリシー改善は、人間がループ内で監視・介入することが一般的であり、自動化されたエージェントループはソフトウェア領域で成功しているが、ロボット領域ではツールの失敗率の高さや品質管理の欠如が課題だった。本手法は、ツールの品質を測定・記録し、アーティファクト変更時に失効させる仕組みを導入することで、ロボットツールの信頼性問題に対処する。また、昇格をエビデンスでゲートし、状態をリカバリ可能にし、能力品質を記録から導出することで、人間がループを離れても運用可能にする点が新しい。

手法の核は、LLMコントローラが使い捨てワーカーを駆動する制御プレーンであり、以下の要素からなる。1) 不変の目的（immutable objective）: 改善の目標を固定。2) コントローラ所有の測定（controller-owned measurement）: ツールの品質をコントローラが測定し記録。3) コミットキーによるクラッシュリカバリ（commit-keyed crash recovery）: トランザクションの状態をコミットキーで管理し、クラッシュから復旧。4) エビデンス段階付きスキルライブラリ（evidence-graded skill library）: スキルにエビデンスの段階を付与。5) ツールレジストリ（tool registry）: 標準化された記録済み呼び出し面を持ち、ツールの品質を各呼び出しで記録し、アーティファクト変更時に失効させる。

有効性は、以下の指標で検証された。1) 偽昇格制御（false-promotion control）: ハードニング後は1回の実行あたり0.001であり、出荷時の0.005〜0.021と比較して改善。2) 任意停止下での anytime-valid 決定。3) キル注入（kill injection）下での損失や重複効果がゼロ。4) アーティファクト改ざんの6クラスすべてを署名検証器が検出。

タイトルの「ループに留まる必要はない」は選択の主張ではなく運用上の主張である。つまり、昇格がエビデンスでゲートされ、状態がリカバリ可能で、能力品質が記録から導出されるため、人間が離れられるのであって、ループが人間よりも良いチェックポイントを選ぶからではない。実際、測定した1つの系統では、人間よりも良い選択はできなかった。また、偽昇格制御の改善はあるが、全体的な性能向上は限定的である可能性が示唆される。

要旨で参照されている関連研究として、Claude CodeやCodexなどのコーディングエージェントのアーキテクチャが挙げられる。また、ロボットポリシー改善の分野では、模倣学習や強化学習を用いたポリシー訓練、データ収集の自動化などが関連する。具体的な論文名は要旨にないため、次に読むべき論文としては、エージェントベースの自動化やロボット学習の信頼性向上に関する研究が考えられる。