Indispensabile pentru funcționarea site-ului (autentificare, preferințe, securitate). Mereu active.
Ce model AI poate rula hardware-ul tău?
Alege un model, un nivel de cuantizare și câți utilizatori îl vor folosi simultan — obții o estimare corectă a memoriei necesare, ce plăci video sau Mac-uri fac față cu adevărat, și dacă merită să cumperi hardware în loc să plătești pe token API. Nimic nu este trimis către un server: totul se calculează în browser.
1. Configurează
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Dimensiune personalizată…
Se presupune un model dens — pentru propriul tău fine-tuning sau un model care nu e în listă.
2. Memorie necesară
100% din memoria utilizabilă a RTX 4060 Ti 16GB
Cum calculăm asta
Greutăți ≈ parametri × biți per parametru ÷ 8 × 1,1 (o marjă de 10% pentru buffere și activări la runtime).
Cache KV = octeți per token × lungimea contextului × utilizatori. Pentru modelele din listă, octeții per token provin din configurația modelului însuși (doar straturile care rețin fiecare token, pe 16 biți), așa că modelele cu atenție comprimată au nevoie de mult mai puțin; pentru o dimensiune personalizată îl estimăm dintr-o arhitectură grouped-query tipică.
Acestea sunt estimări, nu garanții. Utilizarea reală variază în funcție de motorul de inferență, strategia de batching și forma promptului.
3. Ce se potrivește
Doar compatibilitate de memorie — nu inventăm niciodată cifre de tokeni pe secundă pe care nu le putem măsura.
| Hardware | Memorie | Rezultat |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | La limită |
| RTX 4090 24GB | 24 GB | Se potrivește |
| RTX 5090 32GB | 32 GB | Se potrivește |
| 2× RTX 4090 (48GB) | 48 GB | Se potrivește |
| RTX 6000-class 48GB | 48 GB | Se potrivește |
| RTX 6000-class 96GB | 96 GB | Se potrivește |
| Apple M-series 32GB | 32 GB | Se potrivește |
| Apple M-series 64GB | 64 GB | Se potrivește |
| Apple M-series 128GB | 128 GB | Se potrivește |
| NVIDIA DGX Spark-class 128GB | 128 GB | Se potrivește |
| 2x DGX Spark (256 GB) | 256 GB | Se potrivește |
| 4x DGX Spark (512 GB) | 512 GB | Se potrivește |
"Se potrivește" lasă o marjă pentru sistemul de operare și alte aplicații. "La limită" înseamnă că acea marjă este depășită cu până la 15% — un context mai scurt sau o cuantizare mai agresivă ar acoperi diferența.
4. Cumperi hardware sau plătești pe token?
Poți edita orice cifră de mai jos — sunt puncte de plecare, nu prețurile noastre.
Amortizat pe 36 de luni
Ipoteze
- Estimările de memorie presupun că întregul model și cache-ul său KV încap simultan în VRAM sau memorie unificată — fără offload către RAM-ul sistemului.
- Factorul de marjă de 1,1× este o aproximare pentru buffere și memoria de activare la runtime, nu o valoare măsurată pentru un anumit motor de inferență.
- Dimensiunea cache-ului KV per token este luată din configurația oficială a fiecărui model din listă și estimată dintr-o arhitectură tipică pentru o dimensiune personalizată — vezi sursele.
- Cuantizarea sub Q8 schimbă comportamentul modelului, nu doar dimensiunea fișierului — verifică mereu calitatea pentru propriul tău caz de utilizare.
- Compatibilitatea hardware compară memoria necesară cu o ipoteză fixă de memorie utilizabilă per dispozitiv; marja reală depinde de sistemul de operare, drivere și ce altceva rulează.
- Comparația de costuri ignoră mentenanța, deprecierea după 36 de luni și valoarea propriului tău timp.
Surse
Numărul de parametri este verificat pe baza fișei oficiale, a raportului tehnic sau a configurației Hugging Face pentru fiecare model:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Ai nevoie de asta în producție, nu doar estimat?
Altovar implementează AI suverană, locală, pentru companii europene — pe propriul tău hardware sau într-un centru de date din UE, fără ca datele să iasă din infrastructura ta. Vezi cum aduce Altovar AI locală în producție →