Erforderlich für den Betrieb der Seite (Login, Einstellungen, Sicherheit). Immer aktiv.
Welches KI-Modell läuft auf Ihrer Hardware?
Wählen Sie ein Modell, eine Quantisierungsstufe und die Anzahl gleichzeitiger Nutzer — Sie erhalten eine ehrliche Speicherschätzung, welche GPUs oder Macs wirklich ausreichen, und ob sich Hardware-Kauf gegenüber API-Kosten pro Token lohnt. Es wird nichts an einen Server gesendet: alles läuft im Browser.
1. Konfigurieren
- Qwen3.6-35B-A3B
- Gemma 4 26B-A4B
- Qwen3.8-27B
- Gemma 4 31B
- Mistral Small 4
- Qwen3.5-122B-A10B
- Step-3.7-Flash
- DeepSeek V4-Flash
- MiMo-V2.6-Flash
- GLM-5.3-Flash
- Qwen3.5-397B-A17B
- Mistral Large 3
- Eigene Größe…
Annahme: dichtes Modell — für ein eigenes Fine-Tune oder ein Modell, das nicht in der Liste steht.
2. Benötigter Speicher
100% des nutzbaren Speichers von RTX 4060 Ti 16GB belegt
So berechnen wir das
Gewichte ≈ Parameter × Bits pro Gewicht ÷ 8 × 1,1 (10% Zuschlag für Laufzeitpuffer und Aktivierungen).
KV-Cache = Bytes pro Token × Kontextlänge × Nutzer. Bei den gelisteten Modellen stammen die Bytes pro Token aus der Konfiguration des Modells selbst (nur die Schichten, die jedes Token zwischenspeichern, mit 16 Bit); Modelle mit komprimierter Attention brauchen daher deutlich weniger. Bei einer eigenen Größe schätzen wir den Wert anhand einer typischen Grouped-Query-Architektur.
Das sind Schätzungen, keine Garantien. Der tatsächliche Bedarf hängt von der Inference-Engine, der Batching-Strategie und der Prompt-Form ab.
3. Was passt
Nur Speicherkompatibilität — wir erfinden keine Tokens-pro-Sekunde-Werte, die wir nicht messen können.
| Hardware | Speicher | Ergebnis |
|---|---|---|
| RTX 4060 Ti 16GB ★ | 16 GB | Knapp |
| RTX 4090 24GB | 24 GB | Passt |
| RTX 5090 32GB | 32 GB | Passt |
| 2× RTX 4090 (48GB) | 48 GB | Passt |
| RTX 6000-class 48GB | 48 GB | Passt |
| RTX 6000-class 96GB | 96 GB | Passt |
| Apple M-series 32GB | 32 GB | Passt |
| Apple M-series 64GB | 64 GB | Passt |
| Apple M-series 128GB | 128 GB | Passt |
| NVIDIA DGX Spark-class 128GB | 128 GB | Passt |
| 2x DGX Spark (256 GB) | 256 GB | Passt |
| 4x DGX Spark (512 GB) | 512 GB | Passt |
"Passt" lässt Spielraum für Betriebssystem und andere Programme. "Knapp" heißt, dieser Spielraum wird um bis zu 15% überschritten — ein kürzerer Kontext oder stärkere Quantisierung würde die Lücke schließen.
4. Hardware kaufen oder pro Token zahlen?
Alle Werte unten sind editierbar — es sind Ausgangspunkte, nicht unsere Preise.
Abgeschrieben über 36 Monate
Annahmen
- Die Speicherschätzung geht davon aus, dass das gesamte Modell samt KV-Cache gleichzeitig im VRAM oder Unified Memory liegt — kein Offloading auf System-RAM.
- Der Overhead-Faktor 1,1× ist ein grober Zuschlag für Laufzeitpuffer und Aktivierungsspeicher, kein gemessener Wert einer bestimmten Inference-Engine.
- Die KV-Cache-Größe pro Token stammt bei jedem gelisteten Modell aus der offiziellen Konfiguration und wird bei einer eigenen Größe anhand einer typischen Architektur geschätzt — siehe Quellen.
- Quantisierung unterhalb von Q8 verändert das Modellverhalten, nicht nur die Dateigröße — prüfen Sie die Qualität immer für Ihren eigenen Anwendungsfall.
- Die Hardware-Einschätzung vergleicht den Speicherbedarf mit einer festen Annahme zum nutzbaren Speicher pro Gerät; der tatsächliche Spielraum hängt von Betriebssystem, Treibern und anderen laufenden Programmen ab.
- Der Kostenvergleich berücksichtigt weder Wartung noch Abschreibung über 36 Monate hinaus noch den Wert Ihrer eigenen Zeit.
Quellen
Die Parameteranzahl wird anhand der offiziellen Modellkarte, des technischen Reports oder der Hugging-Face-Konfiguration jedes Modells geprüft:
- Qwen3.6-35B-A3B — Hugging Face (Alibaba)
- Gemma 4 26B-A4B — Hugging Face (Google)
- Qwen3.8-27B — Hugging Face (Alibaba)
- Gemma 4 31B — Hugging Face (Google)
- Mistral Small 4 — Hugging Face (Mistral AI)
- Qwen3.5-122B-A10B — Hugging Face (Alibaba)
- Step-3.7-Flash — Hugging Face (StepFun)
- DeepSeek V4-Flash — Hugging Face (DeepSeek)
- MiMo-V2.6-Flash — Hugging Face (Xiaomi)
- GLM-5.3-Flash — Hugging Face (Z.ai)
- Qwen3.5-397B-A17B — Hugging Face (Alibaba)
- Mistral Large 3 — Hugging Face (Mistral AI)
Brauchen Sie das in Produktion, nicht nur geschätzt?
Altovar setzt souveräne, lokale KI für europäische Unternehmen um — auf Ihrer eigenen Hardware oder in einem EU-Rechenzentrum, ohne dass Daten Ihre Infrastruktur verlassen. So bringt Altovar lokale KI in Produktion →
Neu dabei, Modelle lokal zu betreiben? 3 Repos, die jedes KMU für lokale KI kennen sollte →