Hardware para IA local en 2026: primero memoria, después ancho de banda

Por qué manda la memoria: capacidad y luego ancho de banda

La capacidad decide si un modelo cabe: sus pesos más la memoria de trabajo de la conversación. El ancho de banda decide qué tan rápido responde, porque cada token generado obliga a leer otra vez los pesos; NVIDIA señala que en esta fase de decodificación domina la transferencia de memoria, no el cómputo.

Regla práctica: la velocidad para un usuario llega como máximo a cerca del ancho de banda dividido por los bytes leídos por token, y los sistemas reales solo alcanzan una parte (Databricks mide esa fracción como utilización del ancho de banda). Con el mismo modelo de 7B en 4 bits, un M5 Pro (307 GB/s) genera unos 66 tokens por segundo y un M5 Max (614 GB/s), unos 120, según las pruebas de la comunidad. Leer el prompt (prefill) depende más del cómputo que del ancho de banda.

Los modelos de mezcla de expertos solo leen sus parámetros activos. En el mismo DGX Spark (273 GB/s), LMSYS midió un Llama 3.1 70B denso en FP8 a 2,7 tokens por segundo; las pruebas de llama.cpp muestran gpt-oss-120b, con 5.100 millones de parámetros activos, a unos 61. Los equipos con mucha memoria y ancho de banda moderado sirven para MoE, no para modelos densos grandes.

La fórmula de memoria, con un ejemplo resuelto

La memoria necesaria es, a grandes rasgos, los pesos más la caché KV (la memoria por token de la conversación) más un margen:

pesos (GB) ≈ parámetros (miles de millones) × bits por peso ÷ 8
caché KV por token (bytes) = 2 × capas × cabezas KV × dimensión de cabeza × bytes por valor
total ≈ pesos + caché KV por token × tokens de contexto + un margen de 20 %

Bits por peso: 16 en BF16, unos 8,5 en Q8_0 y unos 4,8 en Q4_K_M (según los archivos de Granite 4.2 de IBM). El margen es una heurística de EleutherAI y la caché KV sale del config.json del modelo.

Solo 16 de las 64 capas del modelo usan atención completa, de ahí los 64 KiB por token; el anterior Qwen3-32B necesita 256 KiB, es decir, 32 GiB con 131K tokens, más que toda la tarjeta. Según Ollama, una caché KV de 8 bits reduce esa memoria a la mitad con una pérdida de precisión muy pequeña.

Escalones de hardware en septiembre de 2026

Especificaciones de los fabricantes y precios de lanzamiento en EE. UU.

La RTX 5090 y la RTX PRO 6000 comparten 1.792 GB/s y generan a velocidad parecida con modelos que caben en ambas (unos 205 y 215 tokens por segundo con gpt-oss-20b, según LMSYS); la PRO suma el triple de memoria, con ECC, y la RTX PRO 5000 (48 o 72 GB, 1.344 GB/s) queda en medio. DGX Spark, los PC con Ryzen AI Max+ y los Mac cambian ancho de banda por capacidad; solo el M5 Ultra se acerca a una GPU dedicada.

Estado del mercado: el Mac Studio M5 salió el 22 de septiembre de 2026, el nuevo M6 arranca en el Mac mini con hasta 32 GB y la RTX 5090 Laptop trae 24 GB. Por encima del escritorio, Microsoft anunció para el cuarto trimestre de 2026 un DGX Station (GB300) con Windows que, según dice, corre modelos de hasta un billón de parámetros. En centros de datos: H100 (80 GB), H200 (141 GB), B200 y B300 de NVIDIA, e Instinct MI300X (192 GB) y MI355X (288 GB) de AMD.

Qué corre en cada escalón

Tamaños de archivo publicados; suma la caché KV y un margen.

Caber no es ir rápido: en los equipos de 128 GB, prefiere modelos con pocos parámetros activos. Y las cifras de los fabricantes son techos: NVIDIA y AMD hablan de hasta 200.000 millones de parámetros para DGX Spark y Ryzen AI Max+, que en 4 bits ya son unos 100 GB de pesos.

Comprar, alquilar o pagar por token: un método de TCO

Compara el costo mensual del mismo trabajo, a igual calidad: hardware repartido en su vida útil, energía y horas de mantenimiento, frente a la factura de la API por los mismos tokens. Ejemplo ilustrativo: las cifras de hardware, energía y mano de obra son supuestos nuestros; los precios de API son de lista al 26 de septiembre de 2026.

Con este volumen, el equipo local cuesta cerca del doble que el mismo modelo en Groq y solo le gana a una API de frontera si un modelo de 27B basta. El equilibrio frente a Groq llega cerca de 170 millones de tokens al mes con esta mezcla, si un motor con batching puede atender esa carga. La operación, no la GPU, es lo que pesa: sin ella, lo local cuesta USD 115.

Pan et al. calculan que un modelo pequeño en una RTX 5090 se paga frente a las APIs comerciales en unos tres meses, pero que lo on-premise compensa sobre todo por encima de 50 millones de tokens al mes o con reglas estrictas de residencia. Peng et al. (2026) encontraron que la caché de prompts dejó una API por debajo del costo de una GPU on-premise compartida, y el rendimiento por dólar de las GPU mejora cerca de 49 % al año (Epoch AI).

Consumo, ruido y disponibilidad

Consumo y ruido. La RTX 5090 consume hasta 575 W (NVIDIA recomienda una fuente de 1.000 W) y la RTX PRO 6000, 600 W, o 300 W en su versión Max-Q con la misma memoria y ancho de banda. DGX Spark funciona con 240 W en una caja de 15 cm de lado y 1,2 kg. No encontramos mediciones de ruido comparables; nuestra regla: una tarjeta de 575 a 600 W va en un cuarto ventilado o en un rack.

Disponibilidad y software. DGX Spark también se vende en versiones OEM de Acer, ASUS, Dell, GIGABYTE, HP, Lenovo y MSI. Revisa el soporte de formatos: NVFP4 requiere GPU Blackwell y MLX necesita macOS 26.2 o posterior para los aceleradores del M5.

Comprar desde Colombia y desde Europa

Colombia. Nuestros precios son de lanzamiento en EE. UU.; en Colombia, impuestos, transporte, margen del distribuidor y tasa de cambio mueven el costo final, así que no publicamos una cifra en pesos. Pide cotizaciones en USD y COP a por lo menos dos distribuidores, con garantía y tiempos de entrega; prefiere versiones OEM con factura y soporte locales, y revisa el circuito y la UPS antes de instalar una estación de 1.000 W.

Alquilar también es legal: la Ley 1581 permite transferir datos a los países de la lista de protección adecuada de la SIC, que incluye a Estados Unidos.

Europa. El hardware propio o un proveedor con calificación SecNumCloud, que la ANSSI diseñó frente a las leyes extraterritoriales, responde a la ley CLOUD de EE. UU., que alcanza los datos de proveedores estadounidenses estén donde estén. Para los modelos, mira modelos open-weight en 2026.

Nuestras recomendaciones por tamaño de equipo

Puntos de partida, para contrastar con tus propios modelos y volúmenes.

Para un equipo, la concurrencia importa más que la velocidad máxima: en la prueba de Red Hat con una A100, vLLM llegó a 793 tokens por segundo, mientras que Ollama con la configuración por defecto se estancó en 41. Para producción, alquila primero, mide la utilización real y compra solo si las GPU se mantienen ocupadas; el análisis patrocinado de Lenovo sitúa el umbral en unas cinco horas de uso al día frente a la nube bajo demanda. Más en cómo montar un servidor LLM local.