日本フィジカルAI新聞

世界のフィジカルAIを、日本語で。

ロボティクス/安全/ナビゲーションarXiv:2510.10823

不合理な機械:神経症とアルゴリズム安全の限界

The Irrational Machine: Neurosis and the Limits of Algorithmic Safety

シェア:XThreadsFacebookLINEはてブBluesky

身体性AIにおける神経症的行動を分類し、オンライン検出器と回避策を提案するとともに、遺伝的プログラミングによる破壊的テストで安全限界を明らかにするフレームワークを提示した。

詳しい要約

1. どんなもの?

- 身体性を持つAI(embodied AI)における「neurosis」を特徴づけるフレームワークの提案 - neurosisを『内部的には一貫しているが現実と不整合な行動』と定義 - planning、uncertainty handling、aversive memoryの相互作用から生じるとする - grid navigation stack上で再発する様式をカタログ化 - flip-flop、plan churn、perseveration loops、paralysis、hypervigilance、futile search、belief incoherence、tie break thrashing、corridor thrashing、optimality compulsion、metric mismatch、policy oscillation、limited-visibility variants - 各様式に軽量なonline detectorと再利用可能なescape policyを提示 - 安全をFirst/Second/Third Law(sa…

2. 先行研究と比べてどこがすごい?

- 先行研究との具体的比較は要旨からは不明 - 主張される新規性は、neurosisという観点で行動異常を体系的にカタログ化する点 - 個別の症状対処ではなく、planning・uncertainty handling・aversive memoryの相互作用として捉える - 局所的修正では不十分で、global failureが残り得ると論じる点 - 症状レベルのpatchではなくarchitectural revisionが必要になり得ることを示す - genetic-programming based destructive testingでadversarial curriculaとcounterfactual tracesを生成する提案

3. 技術・手法の肝は?

- grid navigation stackをテストベッドとして使用 - neurosis様式ごとに軽量なonline detectorを設計 - 再利用可能なescape policyを用意 - short commitments、a margin to switch、smoothing、principled arbitration - 学習されたaversive costが局所選択を支配すると、full visibility下でもdurable phobic avoidanceが持続し得ることを示す - 安全な経路があるのにlong detoursが生じる - genetic-programming based destructive testing - worldsとperturbationsを進化させ、law pressureとneurosis scoreを最大化 - adversarial curriculaとcounterfactual tracesを生成

4. どうやって有効だと検証した?

- grid navigation stack上でneurosis様式をカタログ化し、detectorとescape policyを提示 - full visibility条件下でもaversive costが局所選択を支配し、durable phobic avoidanceとlong detoursが持続することを示す - genetic-programming based destructive testingにより、law pressureとneurosis scoreを最大化するworlds/perturbationsを進化 - adversarial curriculaとcounterfactual tracesを得る - 定量的な評価指標や実験規模の詳細は要旨からは不明

5. 議論はある?

- 局所的修正(symptom-level patches)は不十分で、global failureが残り得ると主張 - architectural revisionが必要となる箇所を明らかにする必要性を議論 - First/Second/Third Lawをsafety latency、command compliance、resource efficiencyのengineering shorthandとして用いる枠組みを提示 - neurosisの定義や検出器の一般性、他タスクへの転用可能性については要旨からは不明

6. 次に読むべき論文は?

- 要旨で参照・比較されている個別研究は明示されていない - 関連手法として以下が挙げられる - genetic-programming based destructive testing(本論文の提案手法) - grid navigationにおけるplanning、uncertainty handling、aversive memory関連の研究 - 同分野の定番として、embodied AIのsafety評価やadversarial testing、reward shaping、aversive learningに関する研究を次に読む候補として検討

※ AIが要旨から生成した要約です。正確性は原文をご確認ください。

著者: Daniel Howard

分類: cs.AI, cs.NE, cs.RO

原文アブストラクト

We present a framework for characterizing neurosis in embodied AI: behaviors that are internally coherent yet misaligned with reality, arising from interactions among planning, uncertainty handling, and aversive memory. In a grid navigation stack we catalogue recurrent modalities including flip-flop, plan churn, perseveration loops, paralysis and hypervigilance, futile search, belief incoherence, tie break thrashing, corridor thrashing, optimality compulsion, metric mismatch, policy oscillation, and limited-visibility variants. For each we give lightweight online detectors and reusable escape policies (short commitments, a margin to switch, smoothing, principled arbitration). We then show that durable phobic avoidance can persist even under full visibility when learned aversive costs dominate local choice, producing long detours despite globally safe routes. Using First/Second/Third Law as engineering shorthand for safety latency, command compliance, and resource efficiency, we argue that local fixes are insufficient; global failures can remain. To surface them, we propose genetic-programming based destructive testing that evolves worlds and perturbations to maximize law pressure and neurosis scores, yielding adversarial curricula and counterfactual traces that expose where architectural revision, not merely symptom-level patches, is required.

  1. 1Boston Dynamics、車輪付きAtlasの研究試作機を紹介研究・技術
  2. 2Google DeepMind、ロボット向けAIを発表新製品・発表
  3. 3GXOとApptronik、Apolloの物流現場試験を拡大 最大1,000台の展開を構想量産・展開
  4. 4パナソニックHDなど、触覚に即応する両手作業AI「T-Rex」を共同開発研究・技術
  5. 5SoftBank主導、Agile Robotsが5億ドル調達 NVIDIAと日立も参加資金調達

PR・アフィリエイト広告

OZ GAMING(GPU搭載BTOゲーミングPC)

OZ GAMING(GPU搭載BTOゲーミングPC)の公式広告バナーOZ GAMINGで完成品PCを見る ↗
PR本紙発行元 EmplifAI