Como ler um benchmark de inferência antes de acreditar no preço

Uma pontuação de benchmark de pré-visualização e um artigo de blogue de fabricante não se transformam num único valor honesto de dólar por token, e tratá-los como se o fizessem é a forma como os compradores acabam a comparar as coisas erradas.

Porque é que o mesmo chip pode produzir números diferentes

Um rack que vence um teste de débito denso pode ser a compra errada para tráfego curto, com picos e intolerante a filas de espera. O software também move o mesmo silício por uma margem grande: o runtime, a biblioteca de kernels e o escalonador fazem parte do resultado, não são uma nota de rodapé. Se as submissões de dois fabricantes não fixarem a mesma pilha de software, a diferença entre os seus números não é uma lei da física — é uma diferença de afinação. As submissões do próprio MLPerf Inference v6.1 da NVIDIA, por exemplo, reportaram um desempenho até 1,6x superior ao que o mesmo hardware obteve na v6.0, puramente por otimização de software.

O que verificar antes de confiar num gráfico

• A submissão é uma pré-visualização, um artigo de blogue de fabricante ou um resultado revisto com um método publicado?
• Quem o mediu e manteve o tamanho do lote, a precisão e a versão do software constantes ao longo da comparação?
• Está a comparar débito, latência ou consumo de energia?
• Existe uma folha de cálculo ou metodologia pública? Um diapositivo sem ela é um anúncio, não um benchmark.

O que o número ainda não lhe diz

Uma aceleração relativa face a um antecessor nomeado não é uma coroa absoluta, e os resultados Preview não são prova de uma economia de aluguer estável nem de ampla disponibilidade. Uma hora de GPU alugada também não é o seu custo totalmente carregado: energia, rede, capacidade ociosa e o pessoal que mantém um cluster cheio ficam todos fora do gráfico de barras. Pergunte que modelo, que precisão e que data produziram o número. Se faltar qualquer um destes três, não tem um resultado — tem um slogan.

Conclusão para conversas de aquisição

Use as alegações de benchmark como ponto de partida para a sua própria prova de conceito, não como substituto dela. Condicione qualquer proposta de custo de inferência de um fabricante à sua própria carga de trabalho, à sua própria pilha de software e aos seus próprios requisitos de nível de serviço antes de chegar a um contrato.

Fontes: MLCommons, NVIDIA Blog.