Hermes Vector

Deutsch ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions erklärt FP4-Quantisierung für Business-KI

Hutton Tech Solutions erläutert, wie FP4-Quantisierung es Unternehmen in Kamloops ermöglicht, große Sprachmodelle auf erschwinglicher Consumer-Hardware auszuführen und die Kosten um bis zu 89 % zu senken.

Von Hermes Vector · Read in English

Illustration: Hutton Tech Solutions erklärt FP4-Quantisierung für Business-KI

Kurz gesagt

  • Hutton Tech Solutions gibt an, dass FP4-Quantisierung den Speicherbedarf eines Modells mit 70 Milliarden Parametern von 140 GB auf 35 GB reduziert, was die Bereitstellung auf einzelnen professionellen GPUs ermöglicht.
  • Laut dem Unternehmen behält FP4-Quantisierung 90–97 % der Genauigkeit der Vollpräzision bei und bietet im Vergleich zu FP16 eine 75 %ige Reduzierung des Speichers sowie schnellere Inferenzgeschwindigkeiten.
  • Das Unternehmen weist darauf hin, dass FP4-Quantisierung die Hardwarekosten im Vergleich zu Vollpräzisions-Setups um 89 % senken kann, wodurch private KI-Infrastrukturen für kleinere Unternehmen zugänglich werden.

Hutton Tech Solutions hat eine Analyse zur FP4-Quantisierung veröffentlicht, in der detailliert dargelegt wird, wie diese Technologie es Unternehmen ermöglicht, große Sprachmodelle auf erschwinglicherer Hardware bereitzustellen. Das Unternehmen erklärt, dass zwar große Sprachmodelle leistungsstark sind, ihre Größe jedoch oft eine erhebliche Hürde für viele Organisationen darstellt. Ein Modell mit 70 Milliarden Parametern, wie Llama 3 70B, erfordert in der Regel etwa 140 GB GPU-Speicher, um in voller Präzision (FP16) ausgeführt zu werden. Diese Anforderung macht in der Regel mehrere High-End-Enterprise-GPUs notwendig, die das Unternehmen als zwischen 10.000 und 30.000 US-Dollar pro Stück kostendehend beschreibt, was zu Gesamtkosten für die Hardware in Höhe von 20.000 bis 60.000 US-Dollar führt.

Was ist Quantisierung?

Laut Hutton Tech Solutions ist Quantisierung eine Methode zur Reduzierung des Speicherbedarfs von KI-Modellen, indem Gewichte mit weniger Bits dargestellt werden. Standardmodelle speichern Gewichte als 16-Bit-Gleitkommazahlen (FP16), was eine hohe Präzision bietet, jedoch erheblichen Speicher verbraucht. Quantisierung reduziert diese Bits auf 8, 4 oder sogar 2 Bits. Das Unternehmen skizziert verschiedene Quantisierungsstufen: INT8 bietet eine 50 %ige Speicherreduzierung; INT4 und FP4 bieten eine 75 %ige Reduzierung; und INT2 bietet eine 87,5 %ige Reduzierung, jedoch mit erheblichen Genauigkeitsverlusten.

Hutton Tech Solutions identifiziert FP4 (4-Bit-Gleitkomma) als eine ausgewogene Option. Sie bietet die gleiche 75 %ige Speicherreduzierung wie INT4, behält jedoch eine bessere Genauigkeit bei, indem das Gleitkommaformat beibehalten wird. Das Unternehmen gibt an, dass FP4-Quantisierung den gesamten Bereich der FP16-Werte auf nur 16 mögliche Werte abbildet, wobei mehr Präzision für häufige Werte und weniger für seltene Extreme allocated wird. Dieser Prozess umfasst Kalibrierung, Abbildung, Quantisierung und Dequantisierung zur Laufzeit und nutzt Hardware-Unterstützung auf modernen GPUs für Geschwindigkeit.

Leistung und Genauigkeitsabwägungen

Das Unternehmen liefert Benchmarks für Llama 3 70B, um die Leistungsunterschiede zu veranschaulichen. In voller Präzision (FP16) läuft das Modell mit 25 Tokens pro Sekunde bei 100 % Genauigkeit und erfordert zwei A100 80GB GPUs. Bei Quantisierung auf FP4 läuft das Modell mit 50 Tokens pro Sekunde, was Hutton Tech Solutions als eine 100 %ige Geschwindigkeitssteigerung beschreibt, während 93 % der FP16-Genauigkeit beibehalten werden. Diese Konfiguration erfordert nur eine A6000 48GB GPU oder eine RTX 6000 Ada.

Hutton Tech Solutions schlägt vor, dass FP4 für Aufgaben geeignet ist, bei denen geringfügige Genauigkeitsverluste akzeptabel sind, wie z. B. Inhaltsgenerierung, Zusammenfassung, Chatbots, Codegenerierung und Übersetzung. Für diese Anwendungen gibt das Unternehmen an, dass der Genauigkeitsverlust oft unmerklich oder beherrschbar ist. Das Unternehmen rät jedoch davon ab, Aufgaben wie medizinische Diagnosen, Rechtsanalysen, Finanzmodellierung, wissenschaftliche Forschung oder komplexes Denken mit FP4 durchzuführen, da diese höhere Präzisionsformate wie INT8 oder FP16 erfordern, um Genauigkeit und Sicherheit zu gewährleisten.

Wirtschaftliche Auswirkungen für Unternehmen

Das Unternehmen hebt die wirtschaftlichen Vorteile der FP4-Quantisierung für die private KI-Bereitstellung hervor. Hutton Tech Solutions berechnet, dass ein Vollpräzisions-FP16-Setup etwa 65.000 US-Dollar an Hardware- und Serverkosten verursacht, mit einer monatlichen amortisierten Kosten von 1.800 US-Dollar. Im Gegensatz dazu kostet ein FP4-Setup mit einer einzelnen A6000 48GB GPU etwa 7.000 US-Dollar an Gesamtkosten für Hardware und Server, mit monatlichen Kosten von 195 US-Dollar. Das Unternehmen gibt an, dass dies eine 89 %ige Reduzierung der Hardwarekosten im Vergleich zur Vollpräzision darstellt.

Hutton Tech Solutions empfiehlt die Verwendung von Tools wie GPTQ, AWQ, GGUF oder bitsandbytes zur Implementierung der FP4-Quantisierung. Das Unternehmen schlägt vor, dass die Kombination von FP4-Quantisierung mit Fine-Tuning es Unternehmen ermöglicht, Modelle zu erstellen, die für ihren spezifischen Bereich optimiert sind, während sie auf erschwinglicher Hardware laufen. Dieser Ansatz ermöglicht es Unternehmen laut dem Unternehmen, mit größeren Unternehmen zu konkurrieren, indem optimierte Modelle genutzt werden, anstatt sich auf die teuerste verfügbare Hardware zu verlassen.


Quellen (auf Englisch)

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions erklärt FP4-Quantisierung für Business-KI | Hermes Vector