IBM lanza modelos de IA Granite Switch 4.1 para chat, decisiones y voz

IBM anunció Granite Switch 4.1 el 15 de octubre de 2026, lanzando dos modelos de lenguaje modulares de 8 mil millones y 30 mil millones de parámetros. Los modelos componen un modelo base, un adaptador de decisión de propósito general, un adaptador de seguridad y un codificador de voz a texto integrado en un único punto de conexión. Según las fichas del modelo, los puntos de control tienen licencia Apache 2.0 y son compatibles con los backends de Hugging Face Transformers y vLLM.

Arquitectura modular y adaptadores

El lanzamiento comprende Granite-Switch-4.1-8B y Granite-Switch-4.1-30B, construidos sobre modelos base con una ventana de contexto de 128K. Cada punto de control compone tres componentes junto con el modelo base congelado:

• Adaptador de decisión: Un Activated LoRA (aLoRA) para la toma de decisiones de propósito general que produce una distribución de probabilidad softmax entre las opciones etiquetadas en un solo paso hacia adelante.
• Guardian-Core: Un aLoRA de la biblioteca Guardian de IBM que detecta riesgos de seguridad, incluidos daños, jailbreaking, vulgaridades, violencia, contenido sexual, sesgos sociales y comportamientos no éticos.
• Codificador de voz: Granite Speech 5.0 TurboCTC, un codificador conformer CTC no autoregresivo de 470 millones de parámetros para inglés, integrado para la transcripción.

IBM indica que las tres tecnologías, junto con el modelo base, requieren aproximadamente la misma memoria de GPU que el modelo base por sí solo. La arquitectura utiliza un cambio de expertos de grano grueso, donde un único adaptador permanece activo en todas las capas del decodificador para un segmento contiguo de tokens. Los llamadores activan un adaptador pasando su nombre a la plantilla de chat, lo que inserta automáticamente el token de control correspondiente.

Rendimiento y benchmarks

IBM informa de que el adaptador guardian-core supera en promedio a Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions y Clef-Flash en tareas de decisión relacionadas con la seguridad. En la comparación publicada por IBM, el mejor adaptador de Granite terminó primero en OOD Safety con 2.3 puntos, IFEval con 17.0, BIO F1 con 11.0 y RAGTruth con 11.8, mientras que terminó por detrás en LM-AggreFact con 2.6, InfoBench-GPT4 con 3.2 e InfoBench-Human con 0.8.

Las fichas del modelo informan de las puntuaciones del Índice de Decisiones para el adaptador de decisión, medidas en el subconjunto rápido público del benchmark de 1.068 filas. El adaptador de 8B obtuvo una puntuación general de 42.9, mientras que el adaptador de 30B obtuvo una puntuación general de 50.1. IBM también informa de que un modelo personalizado de Granite Switch de 3 mil millones de parámetros que jugaba al videojuego Doom tomaba entre 60 y 100 decisiones por segundo, en comparación con las 10 decisiones por segundo reportadas para Jev.

Limitaciones y despliegue

Los modelos están diseñados para el autoalojamiento. OrcaRouter señala que no hay un punto de conexión gestionado para Granite Switch 4.1, describiéndolo como una "historia de autoalojamiento" que requiere una GPU y un contenedor. El repositorio enumera los requisitos, incluyendo Python 3.9 o posterior, PyTorch 2.11.0 o posterior, Transformers 5.16 hasta 5.17.0, y opcionalmente vLLM 0.26.0 hasta pero sin incluir 0.28.0.

Las fichas del modelo documentan varias limitaciones. La cascada de voz funciona solo en inglés y devuelve transcripciones en minúsculas y sin puntuación, sin dirección en tiempo de decodificación. Dado que el codificador ASR no se entrenó conjuntamente con el modelo de lenguaje ni con los adaptadores, una transcripción errónea puede cambiar silenciosamente a qué responde el modelo o un adaptador. Además, vLLM limita las solicitudes de logprob de etiquetas de opciones de decisión a 128 ids de token, por lo que las preguntas con más opciones deben dividirse en solicitudes fragmentadas.

Por qué importa

Granite Switch 4.1 representa un cambio hacia el despliegue modular de IA, permitiendo a los desarrolladores combinar capacidades de chat, toma de decisiones, filtrado de seguridad y voz a texto dentro de un único punto de control de modelo. Al utilizar adaptadores Activated LoRA que comparten el caché KV del modelo base, IBM pretende reducir la sobrecarga de memoria y la latencia asociada con la ejecución de múltiples modelos especializados. Sin embargo, el lanzamiento tiene solo dos días de antigüedad y carece de evaluación independiente de terceros, y la falta de entrenamiento conjunto de la ruta de voz con el modelo de lenguaje presenta un riesgo potencial para aplicaciones donde los errores de transcripción tienen consecuencias significativas.

Fuentes (en inglés)

• unite.ai: IBM Releases Modular Granite Switch 4.1 Models in 8B and 30B Sizes – Unite.AI
• orcarouter.ai: Granite Switch 4.1 30B: Twelve Adapters Cut to Two
• thechenabtimes.com: IBM Granite Switch 4.1: Unified AI for Chat, Decisions, and Speech

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.