Homelabber ejecuta modelo de IA de 2,8 billones de parámetros en CPU con memoria Optane

Un creador de homelab en Reddit ha ejecutado el modelo de IA Kimi K3 de 2,8 billones de parámetros de Moonshot AI en memoria Optane PMem 200 de segunda generación ya discontinuada, utilizando una CPU Xeon Scalable de 3ª generación de 40 núcleos y sin GPU para la inferencia, según Tom’s Hardware.

La configuración funciona a 0,85 tokens por segundo con cuantización de 1 bit. Con cuantización de 3 bits, la velocidad bajó a 0,75 tokens por segundo. Los números de rendimiento son previos al ajuste, lo que significa sin ajustes en los conteos de hilos ni en la afinidad NUMA.

Hardware y refrigeración

El creador utilizó memoria Optane de segunda mano porque cuesta "una fracción" de la DRAM equivalente, cuyos precios se han disparado. Los módulos DIMM Optane se calientan "extremadamente" durante la inferencia sostenida, creando una situación que el creador dice que puede poner en peligro la DRAM vecina. El consejo del creador es que "trates la refrigeración activa de los DIMM como obligatoria", utilizando ventiladores de soplado de 12W duales dirigidos a los módulos para mantener las temperaturas bajo control.

Intel lanzó su Memoria Persistente Optane Serie 200 (PMem 200) en 2020 para las CPUs Xeon Scalable de 3ª generación en capacidades de 128GB, 256GB y 512GB. Se espera que cada módulo utilice 12W o 15W independientemente de la capacidad, por lo que cuatro módulos producirían hasta 60W de calor junto a la memoria del sistema. Optane se reduce a 83 grados Celsius y se apaga a 85 grados, en comparación con la memoria de servidor DDR4 típica clasificada para 85 grados Celsius con un rango extendido hasta 95 grados.

Requisitos del modelo y comparación

Moonshot AI recomienda motores de inferencia de centros de datos para ejecutar Kimi K3, e incluso la cuantización comunitaria más pequeña necesita al menos 610GB de RAM. El creador de la primera configuración, u/APFrisco, dijo que el Modo App Direct puede dar "más control sobre dónde residen los tensores del modelo". La nueva configuración utiliza el Modo App Direct, mientras que la primera configuración utilizó el Modo Memory.

La primera configuración alcanzó aproximadamente 4 tokens por segundo, pero utilizó el Modo Memory, cuantización de 2 bits, el modelo más pequeño K2.5 de 1 billón de parámetros y una RTX 3060 que manejaba parte del modelo. Un comentarista estimó que una tarea de 50k tokens tardaría 13 horas a aproximadamente 1 token por segundo, mientras que otro señaló que los lotes nocturnos son menos sensibles a la velocidad.

El creador planea agregar GPUs y cargar partes del modelo en DRAM como una capa más rápida junto con Optane, con "más benchmarks por venir".

Por qué importa

El proyecto muestra que el hardware de consumo puede ejecutar modelos de IA extremadamente grandes sin una GPU, aunque a velocidades muy lentas y con desafíos significativos de refrigeración.

---

Fuentes (en inglés)

• tomshardware.com: Homelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU alone — warns that Optane's extreme heat can 'burn out' nearby memory DRAM, used blower fans to prevent melting RAM | Tom's Hardware
• mezha.net: Homelabber runs 2.8-trillion-parameter AI model on CPU with second-gen Optane memory

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.