donc openzeppelin a audité evmbench, ce benchmark de sécurité IA d'openai et de paradigm. il s'avère que les auditeurs IA se contentent essentiellement de se souvenir des bugs de leurs données d'entraînement 🧵 /1
tous les rapports d'audit publiés avant la date limite de formation sont intégrés dans le modèle. donc quand il "trouve" un bug de réentrance, il ne raisonne pas sur votre code, il se contente de faire correspondre des motifs avec des centaines de rapports qu'il a déjà mémorisés.
montrez-lui un livre de texte sur la réentrance ERC-777 et il s'illumine instantanément. découverte critique, voici le CVE, voici 12 incidents similaires montrez-lui un bug comptable novateur dans un mécanisme qu'il n'a jamais vu ? il signale des événements manquants et passe à autre chose
la partie effrayante n'est pas qu'il manque des choses. la partie effrayante, c'est qu'il est complètement sûr de lui tout en manquant des choses. aucune hésitation. juste des vibrations et un appariement de motifs. indéniablement utile mais aussi insuffisant
c'est exactement pourquoi nous avons choisi des auditeurs humains pour alchemix v3. notre système d'earmark/redeem, mathématiques d'epoch+index, accumulateurs de survie. rien de tout cela n'existe dans aucun corpus de formation. zéro exemples. l'IA ne peut littéralement pas le voir.
138