Comment lire un benchmark d'inférence avant de croire l'étiquette de prix

Les acheteurs MSP qui demandent « combien coûte l'inférence ? » obtiennent généralement une réponse construite à partir de trois instruments différents scotchés ensemble : un accélérateur, la mémoire qui se trouve à côté et le logiciel qui occupe la puce. Un score de benchmark préliminaire, un prix catalogue cloud et un billet de blog fournisseur ne se réduisent pas en un seul chiffre honnête de dollar par token, et les traiter comme s'ils le faisaient est précisément la manière dont les acheteurs finissent par comparer les mauvaises choses.

Pourquoi la même puce peut produire des chiffres différents

La bande passante mémoire détermine si un grand modèle passe son temps à calculer ou à attendre l'arrivée des poids. Un rack qui remporte un test de débit dense peut être le mauvais achat pour un trafic court, en rafales et intolérant aux files d'attente. Le logiciel fait bouger le même silicium dans une large mesure aussi : le runtime, la bibliothèque de noyaux et l'ordonnanceur font partie du résultat, pas une note de bas de page. Si les soumissions de deux fournisseurs ne fixent pas la même pile logicielle, l'écart entre leurs chiffres n'est pas une loi de la physique — c'est une différence de réglage. Les propres soumissions MLPerf Inference v6.1 de NVIDIA, par exemple, ont rapporté des performances jusqu'à 1,6 fois supérieures à celles du même matériel dans la v6.0, uniquement grâce à l'optimisation logicielle.

Ce qu'il faut vérifier avant de faire confiance à un graphique

• La soumission est-elle une préversion, un billet de blog fournisseur ou un résultat examiné avec une méthode publiée ? La catégorie Preview de MLCommons existe spécifiquement pour les plateformes dont la disponibilité commerciale est attendue d'ici la prochaine vague de soumissions — c'est un résultat réel, mais pas la même chose qu'un produit livré et largement disponible.
• Qui l'a mesuré, et a-t-on maintenu constants la taille de lot, la précision et la version du logiciel tout au long de la comparaison ?
• Comparez-vous le débit, la latence ou la consommation électrique ? Chacun classe les systèmes différemment, et un titre choisit généralement celui qui flatte le résultat.
• Existe-t-il une feuille de calcul publique ou une méthodologie ? Une diapositive sans cela est une publicité, pas un benchmark.

Ce que le chiffre ne vous dit toujours pas

Une accélération relative par rapport à un prédécesseur nommé n'est pas une couronne absolue, et MLCommons indique explicitement que les résultats Preview ne prouvent ni une économie locative stable ni une large disponibilité. Une heure de GPU louée n'est pas non plus votre coût entièrement chargé : l'énergie, le réseau, la capacité inactive et le personnel qui maintient un cluster plein se trouvent tous en dehors du graphique à barres. Demandez quel modèle, quelle précision et quelle date ont produit le chiffre. Si l'un de ces trois éléments manque, vous n'avez pas un résultat — vous avez un slogan.

À retenir pour les discussions d'approvisionnement

Utilisez les affirmations de benchmark comme point de départ pour votre propre preuve de concept, pas comme un substitut à celle-ci. Conditionnez l'argumentaire de coût d'inférence de tout fournisseur à votre propre charge de travail, votre propre pile logicielle et vos propres exigences de niveau de service avant qu'il n'atteigne un contrat.

Sources : MLCommons, NVIDIA Blog.