Modelos pequeños en el dispositivo: dónde bastan y dónde la nube sigue ganando

Qué hacen bien los modelos pequeños y dónde se quedan cortos

Por modelo de lenguaje pequeño (SLM, por su sigla en inglés) entendemos hasta unos 10.000 millones de parámetros; en un celular, de 1.000 a 4.000 millones (el modelo local de Apple tiene 3.000 millones). Un modelo así cabe en pocos gigabytes, no necesita red y rinde bien en:

• Clasificación y enrutamiento: intención, sentimiento, idioma, qué modelo atiende una petición.
• Extracción a un formato fijo: campos de una factura, un correo o un formulario.
• Reescritura, resúmenes cortos y autocompletado: una notificación, una reseña, una respuesta sugerida.
• Asistentes sin conexión: Mu, modelo de Microsoft de 330 millones de parámetros, opera la Configuración de Windows en lenguaje natural.

Los límites aparecen rápido. En el índice de inteligencia de Artificial Analysis (26 de septiembre de 2026), los mejores modelos abiertos de hasta 4B marcan entre 6 y 16 puntos, frente a unos 58 del líder de frontera. Los modelos pequeños recuerdan poco, inventan respuestas a preguntas abiertas y planifican mal, así que los agentes de varios pasos se rompen.

Qué hay disponible en septiembre de 2026

Integrado en la plataforma

Sin modelo que distribuir ni factura por token; a cambio, no eliges el modelo, su versión ni los equipos que lo reciben.

Modelos abiertos que empaquetas tú

Eliges la versión y puedes ajustarla; lo pagas en descarga, memoria, actualizaciones y licencias.

Los ocho cubren español y francés, al menos en el papel. Ojo con las licencias: Tiny Aya no permite uso comercial y la licencia de LFM2 de Liquid solo autoriza el uso comercial gratuito por debajo de 10 millones de USD de ingresos. Para ejecutarlos: LiteRT-LM (Google), Core AI y MLX (Apple) o Foundry Local (Microsoft, unos 20 MB por app).

Hardware: NPU, memoria y navegador

Los TOPS venden portátiles; la memoria y el ancho de banda deciden qué corre. Google calcula 2,9 GB para Gemma 4 E2B en INT4 (11,4 GB en BF16), y Apple reserva su modelo local más grande (AFM 3 Core Advanced, 20B disperso, de 1 a 4B activos) para sus iPhone más nuevos y para Mac e iPad recientes con al menos 12 GB. En las pruebas de Apple con MLX, la generación fue entre un 19 y un 27 % más rápida en M5 que en M4, en línea con un 28 % más de ancho de banda. Mira nuestra guía de cuantización.

En el navegador, Chrome comparte una descarga de Gemini Nano entre sitios, solo en escritorio; con LiteRT.js de Google corres tu propio modelo en CPU (WebAssembly), GPU (WebGPU) o, en modo experimental, NPU (WebNN), con una descarga por usuario. Más en hardware para IA local en 2026.

A favor: privacidad y latencia. En contra: batería, memoria y fragmentación

El argumento más fuerte es legal. Si los datos nunca salen del equipo, no hay un proveedor de IA que contratar como encargado (artículo 28 del RGPD) ni una transferencia internacional que justificar (capítulo V del RGPD, artículo 26 de la Ley 1581 en Colombia). Sigues respondiendo por lo que procesas, pero el cumplimiento se simplifica. En Android, según Google, AICore no tiene acceso directo a internet ni guarda registro de entradas o salidas.

Luego, latencia y uso sin conexión: Microsoft reporta más de 100 tokens por segundo para Mu en NPU de Copilot+ PC; Liquid AI, 70 para LFM2.5-1.2B en la CPU de un Galaxy S25 Ultra, con 719 MB. En contra:

• Batería: Google midió un 0,75 % de la batería de un Pixel 9 Pro para 25 conversaciones con Gemma 3 270M en INT4; en una GPU de escritorio, un modelo de 7B gastó hasta 4,4 veces más energía por token que uno de 1B.
• Almacenamiento y contexto: Chrome exige 22 GB libres para Gemini Nano y lo borra si quedan menos de 10 GB; el modelo de Apple admite unos pocos miles de tokens por sesión.
• Actualizaciones y cobertura: Windows cambia Phi Silica por Aion Instruct en noviembre de 2026, la Prompt API de ML Kit es una beta sin SLA y Android solo atiende a la app en primer plano.

Especializar un modelo pequeño: LoRA y destilación

Ajustado para una sola tarea, un generalista mediocre puede volverse suficiente. LoRA entrena pequeñas matrices adaptadoras sobre pesos congelados; la destilación pone a un modelo grande a producir los ejemplos de los que aprende uno pequeño. Las herramientas existen: mlx-lm admite LoRA en un Mac, y Apple ofrece desde 2025 un kit para entrenar adaptadores LoRA para su modelo local. DeepSeek entrenó Qwen3-8B con trazas de razonamiento de R1-0528 y afirma que iguala a Qwen3-235B en modo de razonamiento en AIME 2024.

1. Elige una tarea acotada con una métrica de acierto o fallo (etiqueta correcta, campo correcto, JSON válido).
2. Arma un conjunto de prueba con casos reales anonimizados y mide primero el modelo base; a veces basta un buen prompt.
3. Genera los datos de entrenamiento con un modelo grande cuyas condiciones lo permitan, y haz que personas revisen una muestra.
4. Entrena sobre la versión exacta del modelo base que distribuirás, cuantiza y vuelve a probar en equipos reales: en un estudio, los pesos en 4 bits conservaron el 93,5 % de la precisión en razonamiento con 1,5B y el 99,5 % con 32B.
5. Lanza con respaldo en la nube y vuelve a entrenar cuando cambie el modelo base. Si lo que falta es conocimiento, mira fine-tuning o RAG.

Dispositivo, servidor o API de frontera

Se decide por función, no por app.

El patrón híbrido: primero local, respaldo en la nube

1. Comprueba en tiempo de ejecución que el modelo local está presente y admite el idioma del usuario.
2. Enruta por tarea: lo acotado se queda en el equipo; las preguntas abiertas, los documentos largos y los agentes van a la nube.
3. Restringe la salida local con generación estructurada (la generación guiada de Apple, los esquemas JSON de la Prompt API de Chrome) y valídala.
4. Escala cuando la validación falla o la entrada supera el contexto local, si el usuario permite que los datos salgan del equipo.

Apple ya lo trae de fábrica: desde iOS 27, una misma API de sesión llega al modelo del dispositivo, a Private Cloud Compute (32.000 tokens; sin costo de API para desarrolladores con menos de 2 millones de primeras descargas) o, con el nuevo protocolo LanguageModel, a otros modelos; según Apple, Anthropic y Google publicarán paquetes Swift para Claude y Gemini.

Regla práctica: registra la tasa de escalamiento, sin contenido, por equipo y versión del sistema. Si se dispara tras una actualización, cambió el modelo de la plataforma: vuelve a correr tu evaluación.

Cuánto cuesta: un método con supuestos explícitos

Tomemos una función que clasifica y resume mensajes cortos: 1 millón de tareas al mes, con 500 tokens de entrada y 100 de salida cada una (supuestos ilustrativos, no mediciones).

Frente a un modelo abierto servido por API, el ahorro es despreciable; frente a uno de frontera es real, pero rara vez decisivo. Los costos que deciden son la ingeniería y las pruebas por plataforma, el tráfico de respaldo y las descargas (2,9 GB por usuario para Gemma 4 E2B en INT4, en cada actualización). La misma lógica fija el punto de equilibrio: con USD 18 al mes, una GPU de USD 2.000 tardaría más de nueve años en pagarse. Más en el costo real de la IA.

Qué significa en Colombia, América Latina y Europa

Colombia y América Latina: diseña para el parque real de equipos. Los modelos integrados solo llegan a celulares recientes (Pixel 9, Galaxy S25, iPhone 15 Pro y posteriores); la gama media y los equipos más viejos necesitan otro camino. En apps móviles que se usan sin cobertura en ventas en campo, logística o agro, un modelo de 1B empaquetado (cerca de 1 GB en 4 bits) puede extraer datos sin conexión. Evita descargas pesadas por datos móviles: el propio Chrome espera una red sin cobro por consumo.

Colombia: menos preguntas sobre los datos. La SIC aplica la Ley 1581 a la IA (Circular Externa 002 de 2024). Estados Unidos figura en su lista de países adecuados, así que una API estadounidense no está prohibida, pero debes demostrar responsabilidad; en el dispositivo, esa pregunta desaparece.

Europa: minimización por diseño. Nada llega a tus servidores salvo que tú lo decidas, y un adaptador LoRA no te convierte en proveedor de un modelo de IA de uso general según el AI Act: las directrices de la Comisión ponen ese umbral en más de un tercio del cómputo de entrenamiento original.