Cómo leer un benchmark de inferencia antes de creer en el precio

Los compradores de MSP que preguntan «¿cuánto cuesta la inferencia?» suelen obtener una respuesta construida a partir de tres instrumentos diferentes pegados: un acelerador, la memoria que está junto a él y el software que mantiene el chip ocupado. Una puntuación de benchmark preliminar, un precio de lista en la nube y una entrada de blog de un proveedor no se colapsan en una cifra honesta de dólares por token, y tratarlos como si lo hicieran es cómo los compradores terminan comparando las cosas equivocadas.

Por qué el mismo chip puede producir números diferentes

El ancho de banda de memoria decide si un modelo grande pasa su tiempo haciendo cálculos o esperando a que lleguen los pesos. Un rack que gana una prueba de rendimiento denso puede ser la compra equivocada para un tráfico corto, intermitente e intolerante a las colas. El software también mueve el mismo silicio en gran medida: el runtime, la biblioteca de kernels y el planificador forman parte del resultado, no de una nota a pie de página. Si las presentaciones de dos proveedores no fijan la misma pila de software, la diferencia entre sus números no es una ley de la física, sino una diferencia en la optimización. Las propias presentaciones de NVIDIA en MLPerf Inference v6.1, por ejemplo, informaron de un rendimiento hasta 1,6 veces superior al del mismo hardware evaluado en v6.0, únicamente por optimización de software.

Qué comprobar antes de fiarse de un gráfico

• ¿La presentación es preliminar, una entrada de blog de un proveedor o un resultado revisado con un método publicado? La propia categoría Preview de MLCommons existe específicamente para plataformas que se espera que alcancen disponibilidad comercial en la siguiente ronda de presentaciones: es un resultado real, pero no lo mismo que un producto enviado y ampliamente disponible.
• ¿Quién lo midió y mantuvo constante el tamaño del lote, la precisión y la versión del software en toda la comparación?
• ¿Se compara rendimiento, latencia o consumo energético? Cada uno clasifica los sistemas de forma diferente, y un titular suele elegir el que favorece el resultado.
• ¿Existe una hoja de cálculo o metodología pública? Una diapositiva sin ella es un anuncio, no un benchmark.

Qué sigue sin decir el número

Una aceleración relativa frente a un predecesor nombrado no es una corona absoluta, y MLCommons deja claro que los resultados Preview no prueban una economía de alquiler estable ni una disponibilidad amplia. Una hora de GPU alquilada tampoco es tu coste total: la energía, la red, la capacidad inactiva y el personal que mantiene lleno un clúster quedan fuera del gráfico de barras. Pregunta qué modelo, qué precisión y qué fecha produjeron el número. Si falta alguno de esos tres, no tienes un resultado, tienes un eslogan.

Conclusión para las conversaciones de compras

Usa las afirmaciones de los benchmarks como punto de partida para tu propia prueba de concepto, no como sustituto de una. Condiciona cualquier propuesta de coste de inferencia de un proveedor a tu propia carga de trabajo, tu propia pila de software y tus propios requisitos de nivel de servicio antes de que llegue a un contrato.

Fuentes: MLCommons, NVIDIA Blog.