Zo leest u een inference-benchmark voordat u het prijskaartje gelooft

MSP-inkopers die vragen "wat kost inference?" krijgen doorgaans een antwoord dat is samengesteld uit drie verschillende instrumenten die aan elkaar zijn geplakt: een accelerator, het geheugen ernaast en de software die de chip bezig houdt. Een preview-benchmarkscore, een cloud-catalogusprijs en een blogpost van een leverancier vallen niet samen tot één eerlijk dollar-per-token-cijfer, en hen zo behandelen is precies hoe inkopers de verkeerde dingen gaan vergelijken.

Waarom dezelfde chip verschillende cijfers kan opleveren

Geheugenbandbreedte bepaalt of een groot model zijn tijd besteedt aan rekenen of aan wachten tot gewichten arriveren. Een rack dat een test met hoge doorvoer wint, kan de verkeerde aankoop zijn voor verkeer dat kort is, pieken vertoont en niet tegen wachtrijen kan. Ook software haalt veel meer uit hetzelfde silicium: de runtime, kernelbibliotheek en scheduler maken deel uit van het resultaat, niet een voetnoot. Als de inzendingen van twee leveranciers niet dezelfde softwarestack vastleggen, is het verschil tussen hun cijfers geen natuurwet — het is een verschil in afstemming. NVIDIA's eigen MLPerf Inference v6.1-inzendingen rapporteerden bijvoorbeeld tot 1,6x hogere prestaties dan dezelfde hardware scoorde in v6.0, puur door software-optimalisatie.

Waar u op moet letten voordat u een grafiek vertrouwt

• Is de inzending een preview, een blogpost van een leverancier of een beoordeeld resultaat met een gepubliceerde methode? De eigen Preview-categorie van MLCommons bestaat specifiek voor platforms die naar verwachting tegen de volgende inzendronde commercieel beschikbaar zullen zijn — het is een echt resultaat, maar niet hetzelfde als een leverbaar, breed beschikbaar product.
• Wie heeft het gemeten, en hield die partij batchgrootte, precisie en softwareversie constant over de vergelijking?
• Vergelijkt u doorvoer, latentie of stroomverbruik? Elk daarvan rangschikt systemen anders, en een kop kiest meestal degene die het resultaat het mooist laat uitkomen.
• Bestaat er een openbaar werkblad of een methodologie? Een slide zonder zo'n document is een advertentie, geen benchmark.

Wat het cijfer u nog steeds niet vertelt

Een relatieve versnelling ten opzichte van een met name genoemde voorganger is geen absolute kroon, en MLCommons is expliciet dat Preview-resultaten geen bewijs zijn van stabiele verhuureconomie of brede beschikbaarheid. Een gehuurd GPU-uur is ook niet uw volledig doorberekende kosten: stroom, netwerk, ongebruikte capaciteit en het personeel dat een cluster gevuld houdt, vallen allemaal buiten het staafdiagram. Vraag welk model, welke precisie en welke datum het cijfer hebben opgeleverd. Als een van die drie ontbreekt, hebt u geen resultaat — u hebt een slogan.

Takeaway voor inkoopgesprekken

Gebruik benchmarkclaims als startpunt voor uw eigen proof-of-concept, niet als vervanging daarvan. Toets de inference-kostenpitch van elke leverancier aan uw eigen workload, uw eigen softwarestack en uw eigen service-levelvereisten voordat deze een contract bereikt.

Bronnen: MLCommons, NVIDIA Blog.