デジタルツインへの系統的故障注入による身体性AIの安全性テスト手法EAST

- 本論文は、embodied AI の安全性評価のための digital-twin フレームワーク EAST (Embodied AI Safety Testing) を提案する。 - タスク成功率だけでは安全性を測れないという問題意識のもと、文献に基づく安全上の危険を実行可能・検証可能な fault-injection テストへ変換する。 - perception, instructions, environments, actions, timing の5領域にわたる fault を対象とする。 - 専門家レビュー済みの safety-fault taxonomy と8つの実行可能 operator を組み合わせる。 - 3段階のワークフローでテスト仕様生成、実行中の fault 実現検証、安全性・違反・タスク結果・行動特性の独立評価を行う。

- 既存評価は性能や robustness に重点を置き、記録された安全上の危険から実行可能で検証可能なテストへの体系的な経路を欠いていた。 - EAST は文献に基づく安全証拠を fault-injection テストへ変換する点で、性能中心の評価を超える。 - 単なるランダムやルールベースのテストではなく、適用可能性と妥当性の制約を持つ taxonomy と operator を用いる。 - 実行トレースと再生可能な記録を保持し、帰属分析と再現性を支援する点が特徴。 - 同一予算での比較キャンペーンにおいて、安全性チャレンジへの曝露率で Random-Legal や Rule-Based に近い水準を達成しつつ、妥当な証拠を体系的に得る。

- 専門家レビュー済みの safety-fault taxonomy と8つの実行可能 operator を中核とする。 - 各 operator には適用可能性と妥当性の制約を付与する。 - 3段階ワークフロー: (1) テスト仕様の生成、(2) シミュレーション実行中の fault 実現の検証、(3) simulator-state evidence を用いた安全性チャレンジ・違反・タスク結果・行動特性の独立評価。 - 実行トレースと replayable records を保存し、帰属と再現性を可能にする。 - digital twin 上で perception, instructions, environments, actions, timing にまたがる fault を注入する。

- 6つの RoboTwin manipulation タスクと2つの policy アーキテクチャ ACT, RDT で評価。 - 同一予算のもとで代替テスト戦略と比較する5つの比較キャンペーンを実施。 - EAST は許容可能な74の task-policy-operator 組み合わせすべてを対象とし、63で妥当な証拠を得た。 - 安全性チャレンジ曝露率は Random-Legal と Rule-Based に近い水準だった。 - 82件の妥当な EAST 実行が安全違反を伴いながらタスクを完了し、成功率中心評価では隠れるリスクを明らかにした。

- タスク完了指標を超えた、体系的・妥当性考慮・再現可能な安全テストの必要性を支持する結果が得られた。 - 成功率が高い実行でも安全違反が併存しうることを示し、成功中心評価の限界を議論している。 - 妥当な証拠が得られたのは74組み合わせ中63であり、残りの組み合わせに関する議論は要旨からは不明。 - 曝露率が Random-Legal や Rule-Based と近い水準であることの解釈や限界は要旨からは不明。 - digital twin から実世界への一般化可能性については要旨からは不明。

- 要旨で比較対象として明示される Random-Legal および Rule-Based のテスト戦略。 - 評価に用いられた policy アーキテクチャ ACT と RDT の原論文。 - 評価環境である RoboTwin manipulation タスクのベンチマーク論文。 - embodied AI の安全性評価・fault injection・digital twin を用いたテストに関する関連研究（具体的な文献名は要旨からは不明）。