więc openzeppelin audytował evmbench, ten benchmark bezpieczeństwa AI od openai i paradigm. okazuje się, że audytorzy AI w zasadzie tylko pamiętają błędy z danych treningowych 🧵 /1

każdy raport audytowy opublikowany przed terminem szkolenia jest wbudowany w model. więc kiedy "znajduje" błąd reentrancy, nie rozumie twojego kodu, tylko dopasowuje wzorce do setek raportów, które już zapamiętało.

pokaż mu podręcznikowy przykład reentrancy w erc-777, a natychmiast się zapali. krytyczne odkrycie, oto cve, oto 12 podobnych incydentów pokaż mu nowy błąd księgowy w mechanizmie, którego nigdy wcześniej nie widział? zgłasza brakujące zdarzenia i przechodzi dalej

przerażająca część nie polega na tym, że coś umyka. przerażająca część polega na tym, że jest całkowicie pewne, gdy coś umyka. zero wahania. tylko wibracje i dopasowywanie wzorców. niewątpliwie użyteczne, ale także niewystarczające.

to właśnie dlatego zdecydowaliśmy się na ludzkich audytorów dla alchemix v3. nasz system earmark/redeem, skomplikowana matematyka epoch+index, akumulatory przetrwania. nic z tego nie istnieje w żadnym zbiorze treningowym. zero przykładów. AI dosłownie nie może tego zobaczyć.