Come leggere un benchmark di inferenza prima di credere al prezzo

Gli acquirenti MSP che chiedono "quanto costa l'inferenza?" tendono a ricevere una risposta costruita con tre strumenti diversi incollati insieme: un acceleratore, la memoria che gli sta accanto e il software che tiene occupato il chip. Un punteggio benchmark preview, un prezzo di listino cloud e un post sul blog di un fornitore non si riducono a un'unica cifra onesta di dollari per token, e trattarli come se lo facessero è il modo in cui gli acquirenti finiscono per confrontare le cose sbagliate.

Perché lo stesso chip può produrre numeri diversi

La larghezza di banda della memoria decide se un modello di grandi dimensioni passa il suo tempo a fare calcoli o ad aspettare l'arrivo dei pesi. Un rack che vince un test di throughput denso può essere l'acquisto sbagliato per un traffico breve, a raffica e intollerante alle code. Anche il software sposta lo stesso silicio di un margine ampio: il runtime, la libreria dei kernel e lo scheduler fanno parte del risultato, non sono una nota a piè di pagina. Se le submission di due fornitori non fissano lo stesso stack software, il divario tra i loro numeri non è una legge della fisica: è una differenza di messa a punto. Le submission MLPerf Inference v6.1 di NVIDIA, per esempio, hanno riportato prestazioni fino a 1,6 volte superiori rispetto allo stesso hardware nel v6.0, puramente grazie all'ottimizzazione software.

Cosa verificare prima di fidarsi di un grafico

• La submission è una preview, un post sul blog di un fornitore o un risultato revisionato con un metodo pubblicato? La categoria Preview di MLCommons esiste specificamente per le piattaforme che si prevede raggiungano la disponibilità commerciale entro il prossimo ciclo di submission: è un risultato reale, ma non è la stessa cosa di un prodotto in commercio e ampiamente disponibile.
• Chi l'ha misurato e ha mantenuto costanti batch size, precisione e versione del software nel confronto?
• Stai confrontando throughput, latenza o consumo energetico? Ognuno classifica i sistemi in modo diverso, e un titolo di solito sceglie quello che lusinga il risultato.
• Esiste un foglio di lavoro pubblico o una metodologia? Una slide senza questi elementi è una pubblicità, non un benchmark.

Cosa il numero ancora non ti dice

Un'accelerazione relativa rispetto a un predecessore nominato non è una vittoria assoluta, e MLCommons è esplicito nel dire che i risultati Preview non sono una prova di economia di noleggio stabile o di ampia disponibilità. Un'ora di GPU noleggiata non è nemmeno il tuo costo completamente caricato: energia, rete, capacità inattiva e il personale che tiene pieno un cluster restano tutti fuori dal grafico a barre. Chiedi quale modello, quale precisione e quale data hanno prodotto il numero. Se manca una di queste tre cose, non hai un risultato: hai uno slogan.

Conclusioni per le conversazioni di procurement

Usa le affermazioni dei benchmark come punto di partenza per la tua proof-of-concept, non come un suo sostituto. Subordina la proposta di costo dell'inferenza di qualsiasi fornitore al tuo carico di lavoro, al tuo stack software e ai tuoi requisiti di livello di servizio prima che arrivi a un contratto.

Fonti: MLCommons, NVIDIA Blog.