Homelabber Executa Modelo de IA de 2,8 Trilhões de Parâmetros em CPU com Memória Optane

Um entusiasta de homelab no Reddit executou o modelo de IA Kimi K3 da Moonshot AI, com 2,8 trilhões de parâmetros, em memória Optane PMem 200 de segunda geração descontinuada, utilizando uma CPU Xeon Scalable de 3ª geração com 40 núcleos e sem GPU para inferência, de acordo com o Tom’s Hardware.

A configuração opera a 0,85 tokens por segundo com quantização de 1 bit. Com quantização de 3 bits, a velocidade caiu para 0,75 tokens por segundo. Os números de desempenho são pré-ajuste, ou seja, sem ajustes nas contagens de threads ou afinidade NUMA.

Hardware e Resfriamento

O criador utilizou memória Optane usada porque custa "uma fração" do preço da DRAM equivalente, cujos preços dispararam. Os DIMMs Optane ficam "extremamente quentes" durante a inferência sustentada, criando uma situação que o criador afirma poder colocar em risco a DRAM vizinha. O conselho do criador é que você "trate o resfriamento ativo dos DIMMs como obrigatório", usando dois ventiladores blower de 12W direcionados aos módulos para manter as temperaturas sob controle.

A Intel lançou sua Memória Persistente Optane Série 200 (PMem 200) em 2020 para CPUs Xeon Scalable de 3ª geração, em capacidades de 128GB, 256GB e 512GB. Cada módulo deve consumir 12W ou 15W, independentemente da capacidade, portanto, quatro módulos produziriam até 60W de calor ao lado da memória do sistema. A Optane reduz o desempenho (throttles) a 83 graus Celsius e desliga a 85 graus, em comparação com a memória de servidor DDR4 típica, classificada para 85 graus Celsius com uma faixa estendida de até 95 graus.

Requisitos do Modelo e Comparação

A Moonshot AI recomenda motores de inferência de data center para executar o Kimi K3, e até a quantização comunitária mais pequena exige pelo menos 610GB de RAM. O criador da primeira configuração, u/APFrisco, disse que o Modo App Direct pode dar "mais controle sobre onde os tensores do modelo residem". A nova configuração usa o Modo App Direct, enquanto a primeira configuração usava o Modo Memory.

A primeira configuração atingiu aproximadamente 4 tokens por segundo, mas utilizava o Modo Memory, quantização de 2 bits, o modelo menor K2.5 de 1 trilhão de parâmetros e uma RTX 3060 processando parte do modelo. Um comentarista estimou que uma tarefa de 50k tokens levaria 13 horas a cerca de 1 token por segundo, enquanto outro observou que lotes noturnos são menos sensíveis à velocidade.

O criador planeja adicionar GPUs e carregar partes do modelo na DRAM como uma camada mais rápida junto com a Optane, com "mais benchmarks por vir".

Por que isso importa

O projeto mostra que o hardware de consumo pode executar modelos de IA extremamente grandes sem uma GPU, embora a velocidades muito lentas e com desafios significativos de resfriamento.

---

Fontes (em inglês)

• tomshardware.com: Homelabber uses second-gen Optane memory sticks to run a 2.8-trillion-parameter AI model on CPU alone — warns that Optane's extreme heat can 'burn out' nearby memory DRAM, used blower fans to prevent melting RAM | Tom's Hardware
• mezha.net: Homelabber runs 2.8-trillion-parameter AI model on CPU with second-gen Optane memory

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.