Intel heeft processors stiekem geoptimaliseerd voor een populaire benchmarktest, zodat de resultaten een stuk hoger lagen en niet meer indicatief waren voor prestaties in de echte wereld.
Benchmarkspecialist SPEC (Standard Performance Evaluation Corporation) beschuldigt Intel van valsspelen. Het bedrijf stelt vast dat Intel de compiler van verschillende processors heeft geoptimaliseerd specifiek voor zijn SPEC CPU 2017-test. Door die optimalisatie geeft de test niet meer weer hoe goed een Intel-processor is in een bepaald type workload, enkel hoe goed de CPU presteert in de benchmark zelf.
Benchmarks als maatstaaf
Benchmarks zoals SPEC CPU 2017 bevatten verschillende gestandaardiseerde workloads waar processors zich door moeten ploegen. De tests koppelen vervolgens een score aan de resultaten. Dankzij de standaardisering van de benchmarks kunnen bedrijven componenten op een objectieve manier met elkaar vergelijken voor ze beslissen welk onderdeel het best is voor hun noden. Wij gebruiken de SPECwpc-benchmark bijvoorbeeld voor het testen van workstations, zodat we een objectieve maatstaat hebben om sterktes en zwaktes te vergelijken.
Een benchmarktest is altijd een beetje artificieel, maar in principe bevat een goede test workloads die representatief zijn voor taken die een CPU in de echte wereld zou uitvoeren. Zie je een hoge score in een bepaald type werklast dat belangrijk is voor jou, dan kan je er met vertrouwen vanuit gaan dat jouw variatie van die werklast ook wel vlot zal draaien.
Niet meer representatief
Intel heeft volgens SPEC gefoefeld zodat de test in kwestie niet meer representatief is. In de compiler, die code vertaalt naar instructies voor de processor, heeft Intel heel gericht optimalisaties aangebracht voor de onderdelen 523.xalancbmk_r / 623.xalancbmk_s van de benchmarktest, gebruikmakend van voorafgaande kennis voor de code van die test. Het resultaat is ernaar: CPU’s zouden wel negen procent beter presteren op SPEC CPU 2017. Helaas geldt die prestatiewinst dus enkel en alleen voor de test in kwestie, en is de processor in het echte leven negen procent trager dan de cijfers aangeven.
SPEC heeft daarom de validatie van 2.600 testresultaten uit 2022 en 2023 ingetrokken. Intel lijkt vooral valsgespeeld te hebben met zijn Sapphire Rapids-CPU’s. Recentere versies van de Intel OneAPI-compiler zouden de optimalisaties niet meer bevatten, waardoor resultaten voor Emerald Rapids wel representatief zijn.
Misleidend
De ontdekking is pijnlijk, ook al is het probleem voor nieuwe tests verholpen. Het toont aan dat Intel er niet mee inzit om testresultaten in zijn voordeel te manipuleren en klanten om de tuin te leiden. Er is natuurlijk niets illegaals aan de praktijk, maar het is opzettelijk misleidend voor klanten en testers die afgaan op een gerenommeerde en betrouwbare benchmarktest om op basis van die resultaten een beslissing te nemen over een aankoop.