Welches KI-Modell läuft auf Ihrer Hardware?

3. Was passt

Nur Speicherkompatibilität — wir erfinden keine Tokens-pro-Sekunde-Werte, die wir nicht messen können.

"Passt" lässt Spielraum für Betriebssystem und andere Programme. "Knapp" heißt, dieser Spielraum wird um bis zu 15% überschritten — ein kürzerer Kontext oder stärkere Quantisierung würde die Lücke schließen.

4. Hardware kaufen oder pro Token zahlen?

Alle Werte unten sind editierbar — es sind Ausgangspunkte, nicht unsere Preise.

Annahmen

• Die Speicherschätzung geht davon aus, dass das gesamte Modell samt KV-Cache gleichzeitig im VRAM oder Unified Memory liegt — kein Offloading auf System-RAM.
• Der Overhead-Faktor 1,1× ist ein grober Zuschlag für Laufzeitpuffer und Aktivierungsspeicher, kein gemessener Wert einer bestimmten Inference-Engine.
• Die KV-Cache-Breite ist bei manchen Modellen aus der offiziellen Konfiguration bestätigt, bei anderen anhand vergleichbarer Architekturen geschätzt — siehe Quellen.
• Quantisierung unterhalb von Q8 verändert das Modellverhalten, nicht nur die Dateigröße — prüfen Sie die Qualität immer für Ihren eigenen Anwendungsfall.
• Die Hardware-Einschätzung vergleicht den Speicherbedarf mit einer festen Annahme zum nutzbaren Speicher pro Gerät; der tatsächliche Spielraum hängt von Betriebssystem, Treibern und anderen laufenden Programmen ab.
• Der Kostenvergleich berücksichtigt weder Wartung noch Abschreibung über 36 Monate hinaus noch den Wert Ihrer eigenen Zeit.

Quellen

Die Parameteranzahl wird anhand der offiziellen Modellkarte, des technischen Reports oder der Hugging-Face-Konfiguration jedes Modells geprüft:

• Llama 3.1 8B — Meta — Llama 3 model card
• Llama 3.1 70B — Meta — Llama 3.1 70B (Hugging Face config)
• Llama 3.3 70B — Meta — Llama 3.3 70B (same architecture as 3.1 70B)
• Qwen3 8B — Alibaba — Qwen3-8B model card
• Qwen3 32B — Alibaba — Qwen3-32B model card
• Qwen3 235B-A22B — Alibaba — Qwen3-235B-A22B model card
• Gemma 3 12B — Google — Gemma 3 Technical Report (Table 1)
• Gemma 3 27B — Google — Gemma 3 Technical Report (Table 1)
• Mistral Small 24B — Mistral AI — Mistral Small 3.1/3.2 (24B) model card
• gpt-oss-20b — OpenAI — gpt-oss model card (Table 1)
• gpt-oss-120b — OpenAI — gpt-oss model card (Table 1)
• DeepSeek-V3 — DeepSeek — DeepSeek-V3 technical report + model card
• GLM-4.5-Air — Z.ai — GLM-4.5-Air model card
• GLM-4.5 — Z.ai — GLM-4.5 model card
• Llama 3.1 405B — Meta — Llama 3.1 405B (Hugging Face config)