Matériel pour l'IA locale en 2026 : d'abord la mémoire, ensuite la bande passante

Pourquoi la mémoire décide : capacité, puis bande passante

La capacité décide si un modèle tient : ses poids plus la mémoire de travail de la conversation. La bande passante décide de la vitesse de réponse, car chaque token généré oblige à relire les poids ; NVIDIA souligne qu'en phase de décodage, c'est le transfert mémoire qui domine la latence, pas le calcul.

Règle empirique : la vitesse pour un utilisateur plafonne vers la bande passante divisée par les octets lus par token, et les systèmes réels n'en atteignent qu'une partie (Databricks mesure cette part comme taux d'utilisation de la bande passante). Avec le même modèle de 7B en 4 bits, un M5 Pro (307 Go/s) génère environ 66 tokens par seconde et un M5 Max (614 Go/s) environ 120, selon les mesures de la communauté. La lecture du prompt (prefill) dépend davantage du calcul.

Les modèles à mélange d'experts ne lisent que leurs paramètres actifs. Sur le même DGX Spark (273 Go/s), LMSYS a mesuré un Llama 3.1 70B dense en FP8 à 2,7 tokens par seconde ; les mesures de llama.cpp donnent environ 61 pour gpt-oss-120b et ses 5,1 milliards de paramètres actifs. Les machines à grande mémoire et bande passante modeste conviennent aux MoE, pas aux gros modèles denses.

La formule de mémoire, avec un exemple chiffré

La mémoire nécessaire correspond grosso modo aux poids, plus le cache KV (la mémoire par token de la conversation), plus une marge :

poids (Go) ≈ paramètres (milliards) × bits par poids ÷ 8
cache KV par token (octets) = 2 × couches × têtes KV × dimension de tête × octets par valeur
total ≈ poids + cache KV par token × tokens de contexte + une marge d'environ 20 %

Bits par poids : 16 en BF16, environ 8,5 en Q8_0 et environ 4,8 en Q4_K_M (d'après les fichiers de Granite 4.2 d'IBM). La marge est une heuristique d'EleutherAI ; le cache KV se déduit du config.json du modèle.

Seules 16 des 64 couches du modèle utilisent l'attention complète, d'où 64 Kio par token ; l'ancien Qwen3-32B demande 256 Kio, soit 32 Gio pour 131K tokens, plus que la carte entière. Selon Ollama, un cache KV en 8 bits divise cette mémoire par deux avec une très faible perte de précision.

Les paliers de matériel en septembre 2026

Caractéristiques des constructeurs et prix de lancement aux États-Unis.

La RTX 5090 et la RTX PRO 6000 partagent 1 792 Go/s et génèrent à une vitesse proche sur les modèles qui tiennent dans les deux (environ 205 et 215 tokens par seconde avec gpt-oss-20b, selon LMSYS) ; la PRO apporte trois fois plus de mémoire, avec ECC, et la RTX PRO 5000 (48 ou 72 Go, 1 344 Go/s) se situe entre les deux. Le DGX Spark, les PC Ryzen AI Max+ et les Mac échangent de la bande passante contre de la capacité ; seul le M5 Ultra s'approche d'un GPU dédié.

Disponibilité : le Mac Studio M5 est sorti le 22 septembre 2026, la puce M6 débute dans le Mac mini avec 32 Go au plus et la RTX 5090 Laptop offre 24 Go. Au-dessus du poste de travail, Microsoft a annoncé pour le quatrième trimestre 2026 un DGX Station (GB300) sous Windows qui, selon lui, fait tourner des modèles jusqu'à 1 000 milliards de paramètres. En centre de données : H100 (80 Go), H200 (141 Go), B200 et B300 chez NVIDIA, Instinct MI300X (192 Go) et MI355X (288 Go) chez AMD.

Ce qui tourne sur chaque palier

Tailles de fichiers publiées ; ajoutez le cache KV et une marge.

Tenir en mémoire ne veut pas dire aller vite : sur les machines de 128 Go, privilégiez les modèles à peu de paramètres actifs. Et les chiffres des constructeurs sont des plafonds : NVIDIA et AMD évoquent jusqu'à 200 milliards de paramètres pour le DGX Spark et les Ryzen AI Max+, soit déjà environ 100 Go de poids en 4 bits.

Acheter, louer ou payer au token : une méthode de TCO

Comparez le coût mensuel du même travail à qualité égale : matériel réparti sur sa durée de vie, énergie et heures de maintenance, face à la facture d'API pour les mêmes tokens. Exemple illustratif : les chiffres de matériel, d'énergie et de main-d'œuvre sont nos hypothèses ; les prix d'API sont des prix catalogue au 26 septembre 2026.

À ce volume, la machine locale coûte environ deux fois plus que le même modèle chez Groq, et ne bat une API de frontière que si un modèle de 27B suffit. Le point mort face à Groq arrive vers 170 millions de tokens par mois avec cette répartition, si un moteur de traitement par lots peut absorber la charge. C'est l'exploitation, pas le GPU, qui pèse : sans elle, le local coûte 115 $.

Pan et al. estiment qu'un petit modèle sur une RTX 5090 est rentabilisé face aux API commerciales en trois mois environ, mais que le sur-site ne se justifie surtout qu'au-delà de 50 millions de tokens par mois ou sous des règles strictes de résidence. Peng et al. (2026) ont montré que le cache de prompts rendait une API moins chère qu'un GPU partagé sur site, et la performance par dollar des GPU progresse d'environ 49 % par an (Epoch AI).

Consommation, bruit et disponibilité

Consommation et bruit. La RTX 5090 consomme jusqu'à 575 W (NVIDIA recommande une alimentation de 1 000 W) et la RTX PRO 6000 600 W, ou 300 W en version Max-Q avec la même mémoire et la même bande passante. Le DGX Spark fonctionne avec 240 W dans un boîtier de 15 cm de côté et 1,2 kg. Nous n'avons pas trouvé de mesures de bruit comparables ; notre règle : une carte de 575 à 600 W a sa place dans une pièce ventilée ou une baie.

Disponibilité et logiciel. Le DGX Spark existe aussi en versions OEM d'Acer, ASUS, Dell, GIGABYTE, HP, Lenovo et MSI. Vérifiez le support des formats : NVFP4 exige des GPU Blackwell, et MLX demande macOS 26.2 ou plus récent pour les accélérateurs du M5.

Acheter depuis la Colombie et depuis l'Europe

Colombie. Nos prix sont des prix de lancement américains ; en Colombie, taxes, transport, marge du distributeur et taux de change font varier le coût final : nous ne publions donc pas de montant en pesos. Demandez des devis en USD et en COP à au moins deux distributeurs, avec garantie et délais ; privilégiez les versions OEM avec facturation et support locaux, et vérifiez le circuit et l'onduleur avant d'installer une station de 1 000 W.

Louer est aussi légal : la loi 1581 autorise les transferts vers les pays de la liste d'adéquation de la SIC, qui inclut les États-Unis.

Europe. Le matériel en propre ou un prestataire qualifié SecNumCloud, conçu par l'ANSSI face aux lois extraterritoriales, répond au CLOUD Act américain, qui atteint les données des fournisseurs américains où qu'elles soient stockées. Pour les modèles, voir les modèles open-weight en 2026.

Nos recommandations selon la taille de l'équipe

Des points de départ, à confronter à vos propres modèles et volumes.

Pour une équipe, la concurrence compte plus que la vitesse de pointe : dans le test de Red Hat sur une A100, vLLM a atteint 793 tokens par seconde, tandis qu'Ollama avec ses réglages par défaut plafonnait à 41. En production, louez d'abord, mesurez l'utilisation réelle et n'achetez que si les GPU restent occupés ; l'analyse sponsorisée de Lenovo situe le seuil à environ cinq heures d'utilisation par jour face au cloud à la demande. Plus de détails dans comment monter un serveur LLM local.