Så läser du ett inferensbenchmark innan du tror på prislappen

GPU-inferenspåståenden kan bygga på förhandsresultat och leverantörsinlägg. Här är vad du ska kontrollera innan du behandlar någon $/token-siffra som fakta.

I den här artikeln

Varför samma chip kan ge olika siffror
Vad du ska kontrollera innan du litar på ett diagram
Vad siffran fortfarande inte berättar
Att ta med sig till upphandlingssamtal

Ett förhandsbenchmarkresultat och ett leverantörsinlägg kollapsar inte till en enda ärlig dollar-per-token-siffra, och att behandla dem som om de gjorde det är hur inköpare hamnar i att jämföra fel saker.

Foto: Cromemco System Three in United Solder-Wrap Workstation.jpg. Cromemco (CC BY-SA 4.0), Wikimedia Commons. https://commons.wikimedia.org/wiki/File%3ACromemco_System_Three_in_United_Solder-Wrap_Workstation.jpg https://creativecommons.org/licenses/by-sa/4.0/

Varför samma chip kan ge olika siffror

En rack som vinner ett tätt genomströmningstest kan vara fel köp för trafik som är kort, burstig och intolerant mot köbildning. Programvara flyttar samma kisel med stor marginal också: runtime, kärnbibliotek och schemaläggare är en del av resultatet, inte en fotnot. NVIDIAs egna MLPerf Inference v6.1-bidrag rapporterade till exempel upp till 1,6 gånger högre prestanda än samma hårdvara fick i v6.0, enbart genom programvaruoptimering.

Vad du ska kontrollera innan du litar på ett diagram

Är bidraget ett förhandsresultat, ett leverantörsinlägg eller ett granskat resultat med publicerad metod? MLCommons redovisar Vera Rubin som ett system i Preview-kategorin.
Vem mätte det, och höll de batchstorlek, precision och programvaruversion konstanta över jämförelsen?
Jämför du genomströmning, latens eller effektförbrukning?
Finns ett offentligt kalkylblad eller en metodik? En bild utan en sådan är en annons, inte ett benchmark.

Vad siffran fortfarande inte berättar

En relativ hastighetsökning mot en namngiven föregångare är inte en absolut krona. En hyrd GPU-timme är inte heller din fullt belastade kostnad: ström, nätverk, outnyttjad kapacitet och personalen som håller ett kluster fullt ligger alla utanför stapeldiagrammet. Fråga vilken modell, vilken precision och vilket datum som producerade siffran. Om någon av dessa tre saknas har du inte ett resultat — du har en slogan.

Att ta med sig till upphandlingssamtal

Använd benchmarkpåståenden som en utgångspunkt för ditt eget koncepttest, inte som en ersättning för ett. Granska varje leverantörs inferenskostnadsargument mot din egen arbetsbelastning, din egen programvarustack och dina egna servicenivåkrav innan det når ett kontrakt.

Källor: MLCommons, NVIDIA Blog.