Cum să citești un benchmark de inferență înainte de a crede eticheta de preț

Cumpărătorii MSP care întreabă „cât costă inferența?” tind să primească un răspuns construit din trei instrumente diferite lipite între ele: un accelerator, memoria de lângă el și software-ul care ține cipul ocupat. Un scor de benchmark preliminar, un preț de listă din cloud și o postare pe blogul unui furnizor nu se transformă într-o singură cifră onestă de dolari pe token, iar a le trata ca și cum ar face-o este modul în care cumpărătorii ajung să compare lucrurile greșite.

De ce același cip poate produce numere diferite

Lățimea de bandă a memoriei decide dacă un model mare își petrece timpul făcând calcule sau așteptând să sosească ponderile. Un rack care câștigă un test dens de debit poate fi achiziția greșită pentru trafic scurt, exploziv și intolerant la cozi. Software-ul mișcă același siliciu cu o marjă mare, de asemenea: runtime-ul, biblioteca de kerneluri și planificatorul fac parte din rezultat, nu sunt o notă de subsol. Dacă trimiterile a doi furnizori nu fixează același stivă de software, diferența dintre numerele lor nu este o lege a fizicii — este o diferență de optimizare. Trimiterile NVIDIA pentru MLPerf Inference v6.1, de exemplu, au raportat performanțe de până la 1,6 ori mai mari decât același hardware în v6.0, pur din optimizare software.

Ce să verifici înainte de a avea încredere într-un grafic

• Este trimiterea un rezultat preliminar, o postare pe blogul unui furnizor sau un rezultat revizuit cu o metodă publicată? Categoria Preview a MLCommons există special pentru platformele care se așteaptă să atingă disponibilitatea comercială până la următoarea rundă de trimiteri — este un rezultat real, dar nu același lucru cu un produs livrat, disponibil pe scară largă.
• Cine l-a măsurat și au menținut dimensiunea lotului, precizia și versiunea software constante în întreaga comparație?
• Compari debitul, latența sau consumul de energie? Fiecare clasifică sistemele diferit, iar un titlu alege de obicei pe cel care flattează rezultatul.
• Există o foaie de lucru publică sau o metodologie? Un slide fără una este o reclamă, nu un benchmark.

Ce nu îți spune totuși numărul

O accelerare relativă față de un predecesor numit nu este o coroană absolută, iar MLCommons este explicit că rezultatele Preview nu sunt dovada unei economii stabile de închiriere sau a unei disponibilități largi. O oră de GPU închiriat nu este nici costul tău complet: energia, rețeaua, capacitatea inactivă și personalul care menține un cluster plin stau toate în afara graficului cu bare. Întreabă ce model, ce precizie și ce dată au produs numărul. Dacă oricare dintre acestea trei lipsește, nu ai un rezultat — ai un slogan.

Concluzie pentru discuțiile de achiziție

Folosește afirmațiile din benchmark ca punct de plecare pentru propriul tău proof-of-concept, nu ca un substitut pentru el. Condiționează orice ofertă de cost al inferenței a unui furnizor de propria ta încărcătură de lucru, propriul tău stivă de software și propriile tale cerințe de nivel de serviciu înainte ca aceasta să ajungă la un contract.

Surse: MLCommons, NVIDIA Blog.