então a openzeppelin auditou o evmbench, aquele benchmark de segurança de IA da openai e paradigm. Acontece que os auditores de IA são basicamente apenas a lembrar-se de bugs dos seus dados de treino 🧵 /1
todos os relatórios de auditoria publicados antes do limite de treinamento estão incorporados no modelo. então, quando ele "encontra" um bug de reentrância, não está raciocinando sobre o seu código, está apenas correspondendo padrões contra centenas de relatórios que já memorizou
mostre-lhe um livro didático sobre reentrância erc-777 e ele acende instantaneamente. descoberta crítica, aqui está o cve, aqui estão 12 incidentes semelhantes mostre-lhe um erro contábil novo em um mecanismo que ele nunca viu? ele sinaliza eventos ausentes e segue em frente
a parte assustadora não é que falhe em perceber coisas. a parte assustadora é que está completamente confiante enquanto falha em perceber coisas. zero hesitação. apenas vibrações e correspondência de padrões. sem dúvida útil, mas também insuficiente.
é exatamente por isso que optámos por auditores humanos para o alchemix v3. o nosso sistema de earmark/redeem, com matemática de epoch+index, acumuladores de sobrevivência. nada disto existe em nenhum corpus de treino. zero exemplos. a IA literalmente não consegue ver isso.
133