Så OpenZeppelin reviderte EVMBENCH, den AI-sikkerhetsbenchmarken fra OpenAI og Paradigm. Det viser seg at AI-revisorer i bunn og grunn bare husker feil fra treningsdataene 🧵 sine /1

Hver revisjonsrapport publisert før treningsgrensen er innebygd i modellen. Så når den "finner" en reentrancy-feil, resonnerer den ikke om koden din, den matcher bare mønstre mot hundrevis av rapporter den allerede har memorert

Vis den en typisk ERC-777 reentrancy, og den lyser opp umiddelbart. Kritisk funn, her er CVE, her er 12 lignende hendelser Vise den en ny regnskapsfeil i en mekanisme den aldri har sett? den flagger manglende hendelser og går videre

Det skumle er ikke at den går glipp av ting. Det skumle er at den er fullstendig selvsikker samtidig som den mangler ting. Null nøling. Bare vibber og mønstermatching. utvilsomt nyttig, men også utilstrekkelig

Dette er akkurat grunnen til at vi valgte Human Auditors for Alchemix v3. Vårt øremerkings-/innløsningssystem, fullpakket epok+indeks-matematikk, overlevelsesakkumulatorer. Ingenting av dette finnes i noe treningsmateriale. Null eksempler. AI kan bokstavelig talt ikke se det