Krävs för att webbplatsen ska fungera (inloggning, inställningar, säkerhet). Alltid på.
Vilken AI-modell klarar din hårdvara?
Välj en modell, en kvantiseringsnivå och hur många som använder den samtidigt — få en ärlig minnesuppskattning, vilka GPU:er eller Mac som faktiskt räcker, och om det lönar sig att köpa hårdvara i stället för att betala per API-token. Inget skickas till en server: allt beräknas i din webbläsare.
1. Ställ in
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Egen storlek…
Antagande: tät modell — för din egen finjustering eller en modell som inte finns i listan.
2. Minne som behövs
100% av RTX 4060 Ti 16GB användbara minne använt
Så räknar vi ut det här
Vikter ≈ parametrar × bitar per vikt ÷ 8 × 1,1 (10% marginal för runtime-buffertar och aktiveringar).
KV-cache = byte per token × kontextlängd × användare. För modellerna i listan kommer byte per token från modellens egen konfiguration (bara de lager som sparar varje token, i 16 bitar), så modeller med komprimerad attention behöver mycket mindre; för en egen storlek uppskattar vi det utifrån en typisk grouped-query-arkitektur.
Det här är uppskattningar, inga garantier. Verklig användning varierar med inferensmotor, batchningsstrategi och promptens form.
3. Vad som får plats
Enbart minnespassform — vi hittar aldrig på tokens-per-sekund-siffror som vi inte kan mäta.
| Hårdvara | Minne | Resultat |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | Trångt |
| RTX 4090 24GB | 24 GB | Får plats |
| RTX 5090 32GB | 32 GB | Får plats |
| 2× RTX 4090 (48GB) | 48 GB | Får plats |
| RTX 6000-class 48GB | 48 GB | Får plats |
| RTX 6000-class 96GB | 96 GB | Får plats |
| Apple M-series 32GB | 32 GB | Får plats |
| Apple M-series 64GB | 64 GB | Får plats |
| Apple M-series 128GB | 128 GB | Får plats |
| NVIDIA DGX Spark-class 128GB | 128 GB | Får plats |
| 2x DGX Spark (256 GB) | 256 GB | Får plats |
| 4x DGX Spark (512 GB) | 512 GB | Får plats |
"Får plats" lämnar marginal för operativsystemet och andra program. "Trångt" betyder att den marginalen överskrids med upp till 15% — en kortare kontext eller hårdare kvantisering skulle täcka skillnaden.
4. Köpa hårdvara eller betala per token?
Redigera valfritt tal nedan — det här är utgångspunkter, inte våra priser.
Avskrivet över 36 månader
Antaganden
- Minnesuppskattningen förutsätter att hela modellen och dess KV-cache ligger samtidigt i VRAM eller unified memory — ingen avlastning till system-RAM.
- Overheadfaktorn 1,1× är en grov marginal för runtime-buffertar och aktiveringsminne, inte ett uppmätt värde för någon specifik inferensmotor.
- KV-cachens storlek per token hämtas ur den egna konfigurationen för varje modell i listan och uppskattas utifrån en typisk arkitektur för en egen storlek — se källor.
- Kvantisering under Q8 förändrar modellens beteende, inte bara filstorleken — kontrollera alltid kvaliteten för ditt eget användningsfall.
- Hårdvarupassformen jämför minnesbehovet med ett fast antagande om användbart minne per enhet; den faktiska marginalen beror på ditt operativsystem, drivrutiner och vad annat som körs.
- Kostnadsjämförelsen bortser från underhåll, avskrivning bortom 36 månader och värdet av din egen tid.
Källor
Antalet parametrar kontrolleras mot varje modells officiella modellkort, tekniska rapport eller Hugging Face-konfiguration:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Behöver du det här i produktion, inte bara uppskattat?
Altovar sätter upp suverän, lokal AI för europeiska företag — på er egen hårdvara eller i ett EU-datacenter, utan att data lämnar er infrastruktur. Se hur Altovar tar lokal AI till produktion →
Nytt att köra modeller lokalt? 3 repor varje litet/medelstort företag bör känna till för lokal AI →