DeepInsight: 物理AIスタック全体を統合する評価インフラストラクチャ

- Physical AI stack 全体を単一 runtime で評価する統合評価基盤 DeepInsight を提案。 - foundation-model の decoding step から whole-body control の physics tick まで、3桁以上異なる operator を対象。 - modality・reward semantics・resource profile が直交して異なる領域を横断。 - 既存は harness を接ぎ木して評価し、runtime も scoring も共有しない。 - 本手法は task・resource・result の3抽象で異質性を保持。

- 既存 framework はこの範囲を単一で覆えず、segment ごとの harness 連結に依存。 - 連結方式は局所妥当性を保つが、cross-layer regression を診断する共有 identity を失う。 - DeepInsight は単一 runtime で全 spectrum を提供。 - 異質性を均質化せず、3つの narrow abstraction の背後に保持。 - 成熟した peer orchestrator が存在する foundation-model 端では、公開 reference と peer-framework の readings を自身の spread 内で再現。 - 同一 suite を単一 node でより高速に実行し、node 間で near-linear にスケール。

- 単一 runtime 上で全 spectrum を扱う評価基盤。 - 3つの narrow abstraction: task、resource、result。 - 各 abstraction を全 subsystem が共有する1つの invariant として実現。 - 1つの episode driver。 - 1つの resource-handle protocol を、LLM inference や sandboxed runtime を含む高コスト backend が実装。 - 1つの trace identity scheme の下で全 event を書き込み。 - 新 benchmark のオンボーディングは主に configuration で行う。

- embodied humanoid stack の3層すべてで production 展開。 - foundation-model 端の成熟 peer orchestrator に対し、公開 reference と peer-framework readings を自身の spread 内で再現。 - 同一 suite を単一 node でより高速に実行。 - node 間で near-linear にスケールすることを確認。 - 全層が1つの shared trace に書き込むため、ある層で始まり別層で表面化する regression がその trace 上で localizable であることを示す。

- 異質な regime を均質化せず、3抽象の背後に保持する設計を採用。 - 単一 runtime と共有 invariant により、新 benchmark を主に configuration でオンボード可能。 - 独自の return は diagnostic 性: 共有 trace により cross-layer regression を局所化。 - これは per-segment harness の federation では再現できない cross-layer payoff と主張。 - 制約や限界、失敗事例については要旨からは不明。

- 要旨で参照/比較されている foundation-model 端の成熟 peer orchestrator。 - 同分野の定番として、embodied humanoid stack の whole-body control 評価 harness。 - LLM inference 評価基盤。 - sandboxed runtime 評価基盤。 - 具体的な論文名は要旨からは不明。