デジタルからフィジカルへ：物理知能のための自律型コーチとしてのデジタルエージェント

- 本論文は、Embodied AI におけるポリシー開発を自律的に行う LLM エージェントの能力を評価するベンチマーク EmboCoach-Bench を提案する。 - 32 の専門家が厳選した RL と IL のタスクを対象とし、実行可能なコードを共通インターフェースとして用いる。 - 静的な生成ではなく、環境フィードバックを活用した動的な閉ループワークフローを評価する。 - エージェントは反復的にドラフト作成、デバッグ、最適化を行い、物理情報を考慮した報酬設計から diffusion policies などのポリシーアーキテクチャまで改善する。

- 従来の Embodied AI 研究は、高忠実度シミュレーションと大規模データ収集により進展してきたが、報酬設計やハイパーパラメータ調整など、人手による監視に大きく依存していた。 - 本研究は、LLM エージェントが自律的に embodied policies をエンジニアリングする能力を評価する点で新規である。 - 静的なコード生成ではなく、環境フィードバックを利用した動的な閉ループワークフローを評価する点が先行研究と異なる。 - 自律エージェントが人間設計のベースラインを平均成功率で 26.5% 上回ることを示した。

- 実行可能なコードを汎用インターフェースとして採用し、エージェントが環境と相互作用しながらポリシーを開発する。 - エージェントは環境フィードバックを利用して、反復的にドラフト作成、デバッグ、最適化を行う閉ループワークフローを実行する。 - 物理情報を考慮した報酬設計から diffusion policies などのポリシーアーキテクチャまで、改善範囲は多岐にわたる。 - ベンチマークは 32 の専門家キュレーションによる RL と IL タスクで構成される。

- EmboCoach-Bench を用いた広範な評価を実施し、以下の 3 つの知見を得た。 - (1) 自律エージェントは人間設計のベースラインを平均成功率で 26.5% 上回った。 - (2) 環境フィードバックを伴うエージェントワークフローはポリシー開発を強化し、オープンソースモデルとプロプライエタリモデルの性能差を大幅に縮めた。 - (3) エージェントは病理的なエンジニアリングケースに対して自己修正能力を示し、反復的な simulation-in-the-loop デバッグを通じてほぼ完全な失敗からタスク性能を回復させた。

- 本論文は、Embodied AI における人手による調整からスケーラブルで自律的なエンジニアリングへのパラダイムシフトを加速する基盤を確立すると主張している。 - 具体的な限界や議論の詳細は要旨からは不明である。

- 要旨で参照/比較されている研究は明示されていない。 - 関連手法として、diffusion policies、RL (強化学習)、IL (模倣学習) が挙げられる。 - 同分野の定番として、Embodied AI におけるシミュレーションと大規模データ収集、LLM を活用したソフトウェア自動化や科学発見の研究が考えられる。