Wie man einen Inferenz-Benchmark liest, bevor man dem Preisschild glaubt

MSP-Einkäufer, die fragen, „was kostet Inferenz?", erhalten in der Regel eine Antwort, die aus drei verschiedenen, zusammengeklebten Instrumenten besteht: einem Beschleuniger, dem Speicher daneben und der Software, die den Chip auslastet. Ein Preview-Benchmark-Wert, ein Cloud-Listenpreis und ein Hersteller-Blogbeitrag ergeben keine ehrliche Dollar-pro-Token-Zahl, und sie so zu behandeln, als ob sie es täten, führt dazu, dass Einkäufer die falschen Dinge vergleichen.

Warum derselbe Chip unterschiedliche Werte liefern kann

Die Speicherbandbreite entscheidet, ob ein großes Modell seine Zeit mit Rechnen verbringt oder damit, auf Gewichte zu warten. Ein Rack, das einen dichten Durchsatztests gewinnt, kann die falsche Anschaffung für Verkehr sein, der kurz, stoßartig und nicht warteschlangentolerant ist. Software bewegt dasselbe Silizium ebenfalls mit großem Abstand: Laufzeitumgebung, Kernel-Bibliothek und Scheduler sind Teil des Ergebnisses, keine Fußnote. Wenn zwei Hersteller-Einreichungen nicht denselben Software-Stack festschreiben, ist die Lücke zwischen ihren Zahlen kein physikalisches Gesetz – sie ist ein Unterschied in der Abstimmung. NVIDIAs eigene MLPerf Inference v6.1-Einreichungen meldeten beispielsweise bis zu 1,6-mal höhere Leistung als dieselbe Hardware in v6.0 – ausschließlich durch Software-Optimierung.

Was zu prüfen ist, bevor man einem Diagramm vertraut

• Ist die Einreichung ein Preview, ein Hersteller-Blogbeitrag oder ein geprüftes Ergebnis mit veröffentlichter Methode? Die Preview-Kategorie von MLCommons existiert speziell für Plattformen, die bis zur nächsten Einreichungsrunde voraussichtlich kommerziell verfügbar sein werden – das ist ein echtes Ergebnis, aber nicht dasselbe wie ein ausgeliefertes, breit verfügbares Produkt.
• Wer hat gemessen, und wurden Batch-Größe, Präzision und Software-Version über den Vergleich hinweg konstant gehalten?
• Vergleicht man Durchsatz, Latenz oder Leistungsaufnahme? Jede dieser Größen ordnet Systeme unterschiedlich ein, und eine Schlagzeile wählt in der Regel diejenige, die dem Ergebnis schmeichelt.
• Existiert ein öffentliches Arbeitsblatt oder eine Methodik? Eine Folie ohne so etwas ist eine Werbung, kein Benchmark.

Was die Zahl immer noch nicht verrät

Eine relative Beschleunigung gegenüber einem namentlich genannten Vorgänger ist keine absolute Krone, und MLCommons stellt ausdrücklich klar, dass Preview-Ergebnisse kein Beleg für stabile Mietökonomie oder breite Verfügbarkeit sind. Eine gemietete GPU-Stunde ist zudem nicht die voll belasteten Kosten: Strom, Netzwerk, Leerlaufkapazität und das Personal, das einen Cluster ausgelastet hält, liegen alle außerhalb des Balkendiagramms. Fragen Sie, welches Modell, welche Präzision und welches Datum die Zahl erzeugt haben. Fehlt eine dieser drei Angaben, hat man kein Ergebnis – man hat einen Slogan.

Fazit für Beschaffungsgespräche

Nutzen Sie Benchmark-Angaben als Ausgangspunkt für den eigenen Proof-of-Concept, nicht als Ersatz dafür. Machen Sie das Inferenzkosten-Versprechen eines jeden Anbieters von der eigenen Arbeitslast, dem eigenen Software-Stack und den eigenen Service-Level-Anforderungen abhängig, bevor es einen Vertrag erreicht.

Quellen: MLCommons, NVIDIA Blog.