Quel modèle IA votre matériel peut-il faire tourner ?

3. Ce qui rentre

Uniquement la compatibilité mémoire — nous n'inventons jamais de chiffres de tokens par seconde que nous ne pouvons pas mesurer.

« Rentre » laisse de la marge pour le système et les autres applications. « Juste » signifie qu'on dépasse cette marge de 15 % au maximum — un contexte plus court ou une quantisation plus agressive comblerait l'écart.

4. Acheter du matériel ou payer par token ?

Modifiez les valeurs ci-dessous — ce sont des points de départ, pas nos prix.

Hypothèses

• Les estimations de mémoire supposent que le modèle entier et son cache KV tiennent ensemble en VRAM ou mémoire unifiée — aucun déchargement vers la RAM système.
• Le facteur de marge 1,1× est une estimation approximative pour les buffers et la mémoire d'activation à l'exécution, pas une mesure réelle d'un moteur d'inférence particulier.
• La largeur du cache KV est confirmée par la configuration officielle pour certains modèles et estimée à partir d'architectures comparables pour d'autres — voir les sources.
• Une quantisation en dessous de Q8 modifie le comportement du modèle, pas seulement la taille du fichier — vérifiez toujours la qualité pour votre propre usage.
• La compatibilité matérielle compare la mémoire requise à une hypothèse fixe de mémoire utilisable par appareil ; la marge réelle dépend de votre système d'exploitation, des pilotes et de ce qui tourne par ailleurs.
• La comparaison de coûts ignore la maintenance, l'amortissement au-delà de 36 mois et la valeur de votre propre temps.

Sources

Le nombre de paramètres est vérifié à partir de la fiche officielle, du rapport technique ou de la configuration Hugging Face de chaque modèle :

• Llama 3.1 8B — Meta — Llama 3 model card
• Llama 3.1 70B — Meta — Llama 3.1 70B (Hugging Face config)
• Llama 3.3 70B — Meta — Llama 3.3 70B (same architecture as 3.1 70B)
• Qwen3 8B — Alibaba — Qwen3-8B model card
• Qwen3 32B — Alibaba — Qwen3-32B model card
• Qwen3 235B-A22B — Alibaba — Qwen3-235B-A22B model card
• Gemma 3 12B — Google — Gemma 3 Technical Report (Table 1)
• Gemma 3 27B — Google — Gemma 3 Technical Report (Table 1)
• Mistral Small 24B — Mistral AI — Mistral Small 3.1/3.2 (24B) model card
• gpt-oss-20b — OpenAI — gpt-oss model card (Table 1)
• gpt-oss-120b — OpenAI — gpt-oss model card (Table 1)
• DeepSeek-V3 — DeepSeek — DeepSeek-V3 technical report + model card
• GLM-4.5-Air — Z.ai — GLM-4.5-Air model card
• GLM-4.5 — Z.ai — GLM-4.5 model card
• Llama 3.1 405B — Meta — Llama 3.1 405B (Hugging Face config)