StepFun Step 5 Preview: model MoE 600B dla agentów, wagi 15 października

StepFun wprowadził Step 5 Preview, rzadki model mieszaniny ekspertów przeznaczony do długoterminowych zadań agentowych, takich jak kodowanie, analiza finansowa i zadania z zakresu wiedzy profesjonalnej. Model jest już dostępny przez API StepFun; firma zapowiada, że otwarte wagi pojawią się 15 października.

Architektura i skala

StepFun opisuje Step 5 Preview jako model o około 600 miliardach parametrów łącznie, z około 27 miliardami aktywnych na token, zbudowany na 92-warstwowym transformatorze narrow-deep zamiast szerszej sieci, co zdaniem firmy daje dłuższe ścieżki rozumowania podczas przetwarzania długiego kontekstu. Model obsługuje okno kontekstu o długości miliona tokenów i przyjmuje zarówno tekst, jak i obrazy. Trening podobno opierał się na długoterminowym uczeniu ze wzmocnieniem w wariancie on-policy, z technikami takimi jak dekodowanie spekulatywne i obliczenia MoE w FP8, aby przyspieszyć proces -- te szczegóły pochodzą z materiałów udostępnionych przez StepFun.

Benchmarki i cennik

Według Artificial Analysis Step 5 Preview osiąga około 44 punktów w indeksie Intelligence Index, mniej więcej tyle co Kimi K3 (max) i około jednego punktu mniej niż GLM-5.3 oraz Qwen3.8 Max. Ten sam serwis benchmarkowy podaje, że model dobrze radzi sobie z pytaniami z fizyki w Humanity's Last Exam i CritPt, ale odstaje od konkurentów w benchmarkach agentowych, takich jak GDPval-AA i Terminal-Bench 4.0, przy zgłaszanym odsetku halucynacji wynoszącym 43%. Cennik API podany przez StepFun wynosi około 1 USD za milion tokenów wejściowych i 2,70 USD za milion tokenów wyjściowych, przy około 100 tokenach na sekundę generowania -- co jest wyraźnie tanio w porównaniu z porównywalnymi modelami bliskimi czołówce, choć są to ceny katalogowe, a nie poddane audytowi koszty jednostkowe.

Otwartych wag jeszcze nie ma

W momencie publikacji repozytorium StepFun w Hugging Face dla tego modelu zawiera tylko plik zastępczy, bez wag, licencji i karty modelu. Firma zobowiązała się do otwartego wydania 15 października; gdy wagi będą już dostępne, samodzielne hostowanie pełnego modelu będzie wymagało około 1,2 terabajta pamięci w formacie BF16, jeszcze przed uwzględnieniem pamięci KV cache, co oznacza raczej wieloprocesorowy sprzęt serwerowy niż pojedynczą stację roboczą.

Powyższe dane dotyczące benchmarków i kosztów należy traktować jako wartości podane przez dostawcę i strony trzecie, dopóki nie potwierdzą ich niezależne testy, a datę otwartych wag 15 października jako plan zadeklarowany przez StepFun, a nie gwarantowaną premierę.

Źródła: MarkTechPost, Pandaily.