dus openzeppelin heeft evmbench geaudit, die AI-beveiligingsbenchmark van openai en paradigm. het blijkt dat AI-auditors in wezen gewoon bugs onthouden uit hun trainingsdata 🧵 /1

elk auditrapport dat vóór de trainingscutoff is gepubliceerd, is in het model verwerkt. Dus wanneer het een reentrancy-bug "vindt", redeneert het niet over jouw code, het matcht gewoon patronen tegen honderden rapporten die het al heeft gememoriseerd.

toont het een tekstboek erc-777 herinvoer en het licht onmiddellijk op. kritieke bevinding, hier is de cve, hier zijn 12 soortgelijke incidenten toont het een nieuw boekhoudbug in een mechanisme dat het nog nooit heeft gezien? het markeert ontbrekende gebeurtenissen en gaat verder

het enge is niet dat het dingen mist. het enge is dat het volledig zelfverzekerd is terwijl het dingen mist. geen aarzeling. gewoon vibes en patroonherkenning. ongetwijfeld nuttig maar ook onvoldoende.

dit is precies waarom we voor menselijke auditors zijn gegaan voor alchemix v3. ons earmark/redeem systeem, verpakte epoch+index wiskunde, survival accumulators. niets hiervan bestaat in enige trainingscorpus. nul voorbeelden. ai kan het letterlijk niet zien.