Nodig voor de werking van de site (login, voorkeuren, beveiliging). Altijd aan.
Welk AI-model kan jouw hardware draaien?
Kies een model, een quantisatieniveau en het aantal gelijktijdige gebruikers — je krijgt een eerlijke geheugenschatting, welke GPU's of Macs echt volstaan, en of hardware kopen voordeliger is dan betalen per API-token. Er wordt niets naar een server gestuurd: alles gebeurt in je browser.
1. Configureren
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Aangepaste grootte…
Uitgangspunt: dicht model — voor je eigen fine-tune of een model dat niet in de lijst staat.
2. Benodigd geheugen
100% van het bruikbare geheugen van RTX 4060 Ti 16GB
Hoe we dit berekenen
Gewichten ≈ parameters × bits per gewicht ÷ 8 × 1,1 (10% marge voor runtime-buffers en activaties).
KV-cache = bytes per token × contextlengte × gebruikers. Voor de modellen in de lijst komen de bytes per token uit de configuratie van het model zelf (alleen de lagen die elk token onthouden, in 16 bit), dus modellen met gecomprimeerde attention hebben veel minder nodig; voor een eigen grootte schatten we het op basis van een typische grouped-query-architectuur.
Dit zijn schattingen, geen garanties. Het werkelijke gebruik hangt af van de inference-engine, de batching-strategie en de vorm van de prompts.
3. Wat past
Alleen geheugencompatibiliteit — we verzinnen nooit tokens-per-seconde-cijfers die we niet kunnen meten.
| Hardware | Geheugen | Resultaat |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | Krap |
| RTX 4090 24GB | 24 GB | Past |
| RTX 5090 32GB | 32 GB | Past |
| 2× RTX 4090 (48GB) | 48 GB | Past |
| RTX 6000-class 48GB | 48 GB | Past |
| RTX 6000-class 96GB | 96 GB | Past |
| Apple M-series 32GB | 32 GB | Past |
| Apple M-series 64GB | 64 GB | Past |
| Apple M-series 128GB | 128 GB | Past |
| NVIDIA DGX Spark-class 128GB | 128 GB | Past |
| 2x DGX Spark (256 GB) | 256 GB | Past |
| 4x DGX Spark (512 GB) | 512 GB | Past |
"Past" laat ruimte voor het besturingssysteem en andere apps. "Krap" betekent dat die marge met maximaal 15% wordt overschreden — een kortere context of zwaardere quantisatie zou het verschil opheffen.
4. Hardware kopen of per token betalen?
Pas elk getal hieronder aan — dit zijn startpunten, geen prijzen van ons.
Afgeschreven over 36 maanden
Aannames
- De geheugenschatting gaat ervan uit dat het hele model en de KV-cache tegelijk in VRAM of unified memory passen — geen offloading naar systeem-RAM.
- De overhead-factor van 1,1× is een ruwe marge voor runtime-buffers en activatiegeheugen, geen gemeten waarde van een specifieke inference-engine.
- De grootte van de KV-cache per token komt voor elk model in de lijst uit de officiële configuratie en wordt bij een eigen grootte geschat op basis van een typische architectuur — zie bronnen.
- Quantisatie onder Q8 verandert het gedrag van het model, niet alleen de bestandsgrootte — controleer altijd de kwaliteit voor jouw eigen gebruik.
- De hardwarecompatibiliteit vergelijkt het benodigde geheugen met een vaste aanname over bruikbaar geheugen per apparaat; de werkelijke marge hangt af van je besturingssysteem, drivers en wat er verder nog draait.
- De kostenvergelijking houdt geen rekening met onderhoud, afschrijving na 36 maanden of de waarde van je eigen tijd.
Bronnen
Het aantal parameters is gecontroleerd aan de hand van de officiële modelkaart, het technisch rapport of de Hugging Face-configuratie van elk model:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Wil je dit in productie, niet alleen geschat?
Altovar zet soevereine, lokale AI in voor Europese bedrijven — op je eigen hardware of in een EU-datacenter, zonder dat data je infrastructuur verlaat. Bekijk hoe Altovar lokale AI in productie brengt →
Nieuw met lokaal modellen draaien? 3 repo's die elke mkb-onderneming moet kennen voor lokale AI →