Wymagane do działania strony (logowanie, preferencje, bezpieczeństwo). Zawsze włączone.
Jaki model AI uruchomi ten sprzęt?
Wybierz model, poziom kwantyzacji i liczbę jednoczesnych użytkowników — otrzymasz rzetelne oszacowanie potrzebnej pamięci, informację, które GPU lub Maki faktycznie wystarczą, oraz czy zakup sprzętu opłaca się bardziej niż płacenie za token API. Nic nie jest wysyłane na serwer: wszystko liczy się w przeglądarce.
1. Konfiguracja
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Własny rozmiar…
Założenie: model gęsty — na potrzeby własnego fine-tune'u lub modelu spoza listy.
2. Wymagana pamięć
100% pamięci użytecznej RTX 4060 Ti 16GB użyte
Jak to liczymy
Wagi ≈ parametry × bity na wagę ÷ 8 × 1,1 (10% zapasu na bufory i aktywacje w czasie działania).
Pamięć KV = bajty na token × długość kontekstu × użytkownicy. Dla modeli z listy bajty na token pochodzą z konfiguracji samego modelu (tylko warstwy, które zapamiętują każdy token, w 16 bitach), dlatego modele ze skompresowaną uwagą potrzebują jej znacznie mniej; dla własnego rozmiaru szacujemy to na podstawie typowej architektury grouped-query.
To są szacunki, nie gwarancje. Rzeczywiste zużycie zależy od silnika inferencji, strategii batchowania i kształtu promptów.
3. Co się zmieści
Tylko dopasowanie pamięci — nigdy nie zmyślamy liczby tokenów na sekundę, których nie możemy zmierzyć.
| Sprzęt | Pamięć | Wynik |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | Na styk |
| RTX 4090 24GB | 24 GB | Mieści się |
| RTX 5090 32GB | 32 GB | Mieści się |
| 2× RTX 4090 (48GB) | 48 GB | Mieści się |
| RTX 6000-class 48GB | 48 GB | Mieści się |
| RTX 6000-class 96GB | 96 GB | Mieści się |
| Apple M-series 32GB | 32 GB | Mieści się |
| Apple M-series 64GB | 64 GB | Mieści się |
| Apple M-series 128GB | 128 GB | Mieści się |
| NVIDIA DGX Spark-class 128GB | 128 GB | Mieści się |
| 2x DGX Spark (256 GB) | 256 GB | Mieści się |
| 4x DGX Spark (512 GB) | 512 GB | Mieści się |
"Mieści się" pozostawia zapas dla systemu operacyjnego i innych aplikacji. "Na styk" oznacza przekroczenie tego zapasu o maksymalnie 15% — krótszy kontekst lub mocniejsza kwantyzacja zniwelowałyby różnicę.
4. Kupić sprzęt czy płacić za token?
Możesz zmienić każdą liczbę poniżej — to punkty wyjścia, nie nasze ceny.
Amortyzacja rozłożona na 36 miesięcy
Założenia
- Szacunki pamięci zakładają, że cały model i jego pamięć podręczna KV mieszczą się jednocześnie w VRAM lub pamięci zunifikowanej — bez offloadingu do RAM-u systemowego.
- Współczynnik narzutu 1,1× to przybliżony zapas na bufory i pamięć aktywacji w czasie działania, a nie zmierzona wartość konkretnego silnika inferencji.
- Rozmiar pamięci podręcznej KV na token pochodzi z oficjalnej konfiguracji każdego modelu z listy, a dla własnego rozmiaru jest szacowany na podstawie typowej architektury — patrz źródła.
- Kwantyzacja poniżej Q8 zmienia zachowanie modelu, nie tylko rozmiar pliku — zawsze sprawdź jakość dla własnego zastosowania.
- Dopasowanie sprzętu porównuje wymaganą pamięć ze stałym założeniem dostępnej pamięci dla danego urządzenia; rzeczywisty zapas zależy od systemu operacyjnego, sterowników i innych działających programów.
- Porównanie kosztów pomija konserwację, amortyzację po 36 miesiącach oraz wartość Twojego czasu.
Źródła
Liczba parametrów jest weryfikowana na podstawie oficjalnej karty modelu, raportu technicznego lub konfiguracji Hugging Face każdego modelu:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Potrzebujesz tego na produkcji, a nie tylko oszacowania?
Altovar wdraża suwerenną, lokalną AI dla europejskich firm — na Twoim własnym sprzęcie lub w centrum danych w UE, bez wysyłania danych poza Twoją infrastrukturę. Zobacz, jak Altovar wdraża lokalną AI na produkcji →