SPEC Annulla 2600 Risultati a causa di ottimizzazione delle CPU Intel nei test

Il consorzio SPEC (Standard Performance Evaluation Corporation), noto per sviluppare benchmark standardizzati per valutare le prestazioni dei sistemi, soprattutto nell’ambito industriale e dell’HPC, ha invalidato circa 2600 risultati registrati nel test SPEC CPU 2017 a seguito della scoperta di un comportamento anomalo nel compilatore Intel oneAPI DPC++.

In pratica, è emerso che il compilatore in questione presentava un’ottimizzazione mirata per alcuni passaggi del test, generando risultati migliori di diversi punti percentuali (fino al 9% in SPECint) rispetto a quelli attesi. Principalmente coinvolte sono le CPU Xeon Scalable di 4a generazione, mentre sembra che la 5a generazione Emerald Rapids sia stata testata solo con compilatori aggiornati che non incorporano questa ottimizzazione.

L’irregolarità è stata rilevata grazie agli sforzi degli utenti, segnalati tramite Phoronix, che registrando i risultati ottenuti nel test, hanno ricevuto notifiche come la seguente: “SPEC ha stabilito che il compilatore utilizzato per questo risultato stava eseguendo una compilazione che migliora specificamente le prestazioni dei benchmark 523.xalancbmk_r / 623.xalancbmk_s, utilizzando la conoscenza a priori del codice SPEC e del set di dati per eseguire una trasformazione che ha un’applicabilità ristretta”.

Di conseguenza, SPEC ha deciso di non pubblicare più i risultati ottenuti utilizzando questa ottimizzazione, lasciando comunque i risultati nel database a fini storici. Si è scoperto che l’ottimizzazione è stata applicata alle versioni di Intel oneAPI da 2022.0 a 2023.0, mentre le versioni successive al 2023.0 e quelle precedenti al 2022 rientrano nei parametri di SPEC, che accetta le ottimizzazioni solo se hanno un effetto reale e non limitato al solo test.

Al momento, Intel non ha rilasciato alcun commento sull’accaduto. Tuttavia, ottimizzare in modo mirato il compilatore per migliorare le prestazioni in un test specifico è considerato un comportamento discutibile in quanto può influenzare in modo distorto le percezioni degli utenti e le decisioni di acquisto.

Categories

No responses yet

Lascia un commento