IBM veröffentlicht Granite Switch 4.1 KI-Modelle für Chat, Entscheidungen und Sprache

IBM hat am 15. Oktober 2026 Granite Switch 4.1 angekündigt und zwei modulare Sprachmodelle mit 8 Milliarden bzw. 30 Milliarden Parametern veröffentlicht. Die Modelle setzen sich aus einem Basis-Modell, einem allgemeinen Entscheidungs-Adapter, einem Sicherheits-Adapter und einem eingebetteten Speech-to-Text-Encoder zusammen, die zu einem einzigen Endpunkt kombiniert werden. Laut den Modellkarten sind die Checkpoints unter der Apache 2.0-Lizenz verfügbar und unterstützen Hugging Face Transformers sowie vLLM-Backends.

Modulare Architektur und Adapter

Die Veröffentlichung umfasst Granite-Switch-4.1-8B und Granite-Switch-4.1-30B, die auf Basis-Modellen mit einem 128K-Kontextfenster aufbauen. Jeder Checkpoint setzt sich aus drei Komponenten zusammen, wobei das Basis-Modell eingefroren ist:

• Entscheidungs-Adapter: Ein Activated LoRA (aLoRA) für allgemeine Entscheidungsfindung, das in einem einzigen Forward-Pass eine Softmax-Wahrscheinlichkeitsverteilung über beschriftete Optionen erzeugt.
• Guardian-Core: Ein aLoRA aus IBMs Guardian-Bibliothek, das Sicherheitsrisiken erkennt, darunter Schaden, Jailbreaking, Schimpfwörter, Gewalt, sexuelle Inhalte, soziale Verzerrungen und unethisches Verhalten.
• Sprachencoder: Granite Speech 5.0 TurboCTC, ein 470-Millionen-Parameter, englischer, nicht-autoregressiver Conformer-CTC-Encoder, der für die Transkription eingebettet ist.

IBM gibt an, dass alle drei Technologien zusammen mit dem Basis-Modul etwa den gleichen GPU-Speicher benötigen wie das Basis-Modell allein. Die Architektur nutzt grob granulierte Experten-Switching, bei dem ein einzelner Adapter über alle Decoder-Schichten hinweg für einen zusammenhängenden Token-Bereich aktiv bleibt. Aufrufer aktivieren einen Adapter, indem sie dessen Namen an die Chat-Vorlage übergeben, die das entsprechende Kontroll-Token automatisch einfügt.

Leistung und Benchmarks

IBM berichtet, dass der Guardian-Core-Adapter im Durchschnitt Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions und Clef-Flash bei sicherheitsbezogenen Entscheidungsaufgaben übertrifft. In IBMs veröffentlichtem Vergleich landete der beste Granite-Adapter bei OOD Safety 2,3 Punkte vorn, bei IFEval um 17,0, bei BIO F1 um 11,0 und bei RAGTruth um 11,8, lag jedoch bei LM-AggreFact um 2,6, bei InfoBench-GPT4 um 3,2 und bei InfoBench-Human um 0,8 zurück.

Die Modellkarten berichten über Decision-Index-Werte für den Entscheidungs-Adapter, gemessen an der öffentlichen schnellen Teilmenge des Benchmarks mit 1.068 Zeilen. Der 8B-Adapter erzielte insgesamt 42,9, während der 30B-Adapter insgesamt 50,1 erzielte. IBM berichtet auch, dass ein benutzerdefiniertes 3-Milliarden-Parameter-Granite-Switch-Modell, das das Spiel Doom spielt, 60 bis 100 Entscheidungen pro Sekunde traf, verglichen mit 10 Entscheidungen pro Sekunde, die für Jev berichtet wurden.

Einschränkungen und Bereitstellung

Die Modelle sind für das Selbst-Hosting konzipiert. OrcaRouter merkt an, dass es keinen verwalteten Endpunkt für Granite Switch 4.1 gibt und beschreibt dies als eine "Selbst-Hosting-Geschichte", die eine GPU und einen Container erfordert. Das Repository listet Anforderungen auf, darunter Python 3.9 oder höher, PyTorch 2.11.0 oder höher, Transformers 5.16 bis 5.17.0 und optional vLLM 0.26.0 bis einschließlich, aber nicht einschließlich 0.28.0.

Die Modellkarten dokumentieren mehrere Einschränkungen. Die Sprach-Kaskade funktioniert nur auf Englisch und gibt kleingeschriebene, uninterpunktierte Transkripte ohne Steuerung zur Dekodierzeit zurück. Da der ASR-Encoder nicht gemeinsam mit dem Sprachmodell oder den Adaptern trainiert wurde, kann eine Fehltranskription stillschweigend verändern, worauf das Modell oder ein Adapter antwortet. Darüber hinaus begrenzt vLLM die Anfragen für Log-Wahrscheinlichkeiten von Entscheidungsoption-Labels auf 128 Token-IDs, sodass Fragen mit mehr Optionen in chunked-Anfragen aufgeteilt werden müssen.

Warum es wichtig ist

Granite Switch 4.1 stellt einen Wandel hin zu modularer KI-Bereitstellung dar, der es Entwicklern ermöglicht, Chat-, Entscheidungsfindungs-, Sicherheitsprüfungs- und Speech-to-Text-Funktionen innerhalb eines einzigen Modell-Checkpoints zu kombinieren. Durch die Verwendung von Activated LoRA-Adaptern, die den KV-Cache des Basis-Modells teilen, zielt IBM darauf ab, den Speicher-Overhead und die Latenz zu reduzieren, die mit dem Ausführen mehrerer spezialisierter Modelle verbunden sind. Allerdings ist die Veröffentlichung zwei Tage alt und es gibt keine unabhängige Bewertung durch Dritte, und das Fehlen eines gemeinsamen Trainings des Sprachpfads mit dem Sprachmodell stellt ein potenzielles Risiko für Anwendungen dar, bei denen Transkriptionsfehler erhebliche Folgen haben.

Quellen (auf Englisch)

• unite.ai: IBM Releases Modular Granite Switch 4.1 Models in 8B and 30B Sizes – Unite.AI
• orcarouter.ai: Granite Switch 4.1 30B: Twelve Adapters Cut to Two
• thechenabtimes.com: IBM Granite Switch 4.1: Unified AI for Chat, Decisions, and Speech

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.