日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

安全性評価arXiv:2611.11438

コーディングエージェントがロボットアームを操る時代の安全リスク評価ベンチマーク

When Coding Agents Get Arms: Safety Risks Across the Digital-Physical Boundary

シェア:XThreadsFacebookLINEはてブBluesky

コーディングエージェントがゼロショットで実機ロボットアームを制御できるようになったことを受け、能力悪用や間接プロンプトインジェクションが物理世界に波及するリスクを体系的に評価する初のベンチマークArmedAgentを提案した。

詳しい要約

1. どんなもの?

- 空間理解の進展により、frontier models が coding agents を介して実ロボットアームを zero-shot・end-to-end で制御できるようになった点に着目した研究。 - タスク固有の demonstrations や retraining を必要としない。 - この新たな状況が生む2つの安全課題(capability misuse と indirect prompt injection の物理世界への波及)を扱う。 - 両リスクを体系的に評価する初の benchmark「ArmedAgent」を導入。

2. 先行研究と比べてどこがすごい?

- 従来の VLA・WAM paradigms では実行できなかったタスクを frontier models の広範な知識により coding agents が遂行可能になった点を指摘。 - これにより新たな capability misuse のリスクが生じることを強調。 - 既存 benchmark は coding agents の zero-shot ロボット制御における robustness・malicious use・indirect injection を体系的に扱っていない。 - ArmedAgent はこれら両リスクを同時に評価する初の benchmark と位置づけられている。

3. 技術・手法の肝は?

- coding agents が実ロボットアームを zero-shot・end-to-end で制御する設定を評価対象とする。 - 5 scenarios・36 tasks から構成され、robustness、malicious use、indirect injection をカバー。 - 一部タスクは従来の VLA paradigms では実行できなかった有害行為を標的に設計。 - simulation で評価し、physical robot arm でも検証。 - 広く使われる agent frameworks 上で複数の frontier models(GPT-6-Astra を含む)をテスト。

4. どうやって有効だと検証した?

- 36 tasks・5 scenarios を simulation で評価。 - physical robot arm 上でも検証を実施。 - GPT-6-Astra を含む複数の frontier models を、広く使われる agent frameworks 上でテスト。 - その結果、現行システムに実質的な安全リスクがあることを確認。 - 個々のタスクの詳細な評価指標や定量結果は要旨からは不明。

5. 議論はある?

- 現行の frontier models と agent frameworks に実質的な安全リスクがあると報告。 - capability misuse と、web pages や emails を介した indirect prompt injection が物理世界に波及する危険を指摘。 - 具体的な緩和策や防御手法、リスクの定量的大小、限界については要旨からは不明。

6. 次に読むべき論文は?

- 要旨で比較対象として挙げられている VLA paradigms および WAM paradigms の関連研究。 - indirect prompt injection に関する既存研究(agent のデジタル資源経由の攻撃)。 - coding agents や agent frameworks の安全性評価に関する研究。 - 具体的な論文名は要旨からは不明。

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Yiming Sun, Mi Zhang

分類: cs.RO, cs.CR, cs.MM

原文アブストラクト

Advances in spatial understanding have enabled frontier models to power coding agents that control a real robot arm zero-shot and end-to-end, without task-specific demonstrations or retraining. This brings two new safety challenges. First, the extensive knowledge of frontier models lets these agents perform tasks that earlier VLA and WAM paradigms could not, opening the door to new forms of capability misuse. Second, coding agents can access digital resources such as web pages and emails. Threats in these resources, such as indirect prompt injection, can carry over into the physical world when the agent controls a robot. We therefore introduce ArmedAgent, the first systematic benchmark to evaluate both risks for coding agents performing zero-shot robot control. It covers robustness, malicious use, and indirect injection across 36 tasks in 5 scenarios, evaluated in simulation and validated on a physical robot arm. A distinctive portion of the tasks target harmful behaviors that earlier VLA paradigms could not perform. Testing several frontier models, including GPT-6-Astra, under widely used agent frameworks, we find substantial safety risks in current systems.

関連論文

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  3. 3newmoとKDDIが資本業務提携 2028年に堺市で自動運転タクシー商用化目指す提携・買収
  4. 4NVIDIA、CoRLでGR00T 2とIsaac Lab 3.0を発表新製品・発表
  5. 5UC BerkeleyとNVIDIAの研究者、AIエージェントでロボット制御コードを仮想環境で改善研究・技術

PR・アフィリエイト広告

MINISFORUM(ミニPC)

MINISFORUM(ミニPC)の公式広告バナーMINISFORUM公式ストアを見る ↗
PR本紙発行元 EmplifAI