Jak czytać benchmark inferencji, zanim uwierzysz w cenę

Wynik z zapowiedzi i wpis na blogu dostawcy nie składają się na jedną uczciwą kwotę w dolarach za token, a traktowanie ich w ten sposób prowadzi do porównywania niewłaściwych rzeczy.

Dlaczego ten sam układ może dawać różne wyniki

Szafa rack, która wygrywa gęsty test przepustowości, może być złym wyborem w przypadku ruchu krótkiego, impulsowego i źle znoszącego kolejkowanie. Oprogramowanie również w dużym stopniu zmienia wyniki tego samego krzemu: środowisko uruchomieniowe, biblioteka jąder i harmonogram są częścią wyniku, a nie przypisem. Jeśli zgłoszenia dwóch dostawców nie zakładają tego samego stosu oprogramowania, różnica między ich wynikami nie jest prawem fizyki — to kwestia strojenia. Na przykład własne zgłoszenia firmy NVIDIA w MLPerf Inference v6.1 wykazały nawet o 1,6x wyższą wydajność niż ten sam sprzęt w wersji v6.0, wyłącznie dzięki optymalizacji oprogramowania.

Co sprawdzić, zanim zaufasz wykresowi

• Czy zgłoszenie jest zapowiedzią, wpisem na blogu dostawcy czy zweryfikowanym wynikiem z opublikowaną metodą? Wyniki Vera Rubin NVL72 w MLPerf Inference v6.1 zgłoszono w kategorii Preview.
• Kto to zmierzył i czy w całym porównaniu utrzymano stałą wielkość partii, precyzję i wersję oprogramowania?
• Czy porównujesz przepustowość, opóźnienie czy pobór mocy? Każdy z tych parametrów inaczej szereguje systemy.
• Czy istnieje publiczny arkusz lub metodyka? Slajd bez nich to reklama, a nie benchmark.

Czego liczba nadal nie mówi

Względne przyspieszenie względem nazwanego poprzednika nie jest absolutnym zwycięstwem, a wyniki w kategorii Preview nie stanowią dowodu na stabilną ekonomikę wynajmu ani szeroką dostępność. Wynajęta godzina GPU to również nie całościowy koszt: zasilanie, sieć, niewykorzystana pojemność i personel dbający o obłożenie klastra znajdują się poza słupkami wykresu. Pytaj, jaki model, jaka precyzja i jaka data dały daną liczbę. Jeśli brakuje któregokolwiek z tych trzech elementów, nie masz wyniku — masz slogan.

Wnioski do rozmów zakupowych

Korzystaj z deklaracji z benchmarków jako punktu wyjścia do własnego pilotażu, a nie jako jego zamiennika. Każdą ofertę dostawcy dotyczącą kosztów inferencji uzależniaj od własnego obciążenia, własnego stosu oprogramowania i własnych wymagań poziomu usług, zanim trafi do umowy.

Źródła: MLCommons, NVIDIA Blog.