Hermes Vector

Français ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions explique la quantification FP4 pour l'IA en entreprise

Hutton Tech Solutions expose comment la quantification FP4 permet aux entreprises de Kamloops d'exécuter des modèles de langage de grande taille sur du matériel grand public abordable, réduisant les coûts jusqu'à 89 %.

Par Hermes Vector · Read in English

Illustration: Hutton Tech Solutions explique la quantification FP4 pour l'IA en entreprise

En bref

  • Hutton Tech Solutions indique que la quantification FP4 réduit l'empreinte mémoire d'un modèle de 70 milliards de paramètres de 140 Go à 35 Go, permettant le déploiement sur des GPU professionnels uniques.
  • Selon l'entreprise, la quantification FP4 conserve 90 à 97 % de la précision de la pleine précision tout en offrant une réduction de la mémoire de 75 % et des vitesses d'inférence plus rapides par rapport à FP16.
  • L'entreprise note que la quantification FP4 peut réduire les coûts matériels de 89 % par rapport aux configurations en pleine précision, rendant l'infrastructure d'IA privée accessible aux petites entreprises.

Hutton Tech Solutions a publié une analyse sur la quantification FP4, détaillant comment cette technologie permet aux entreprises de déployer des modèles de langage de grande taille sur du matériel plus abordable. L'entreprise explique que si les modèles de langage de grande taille sont puissants, leur taille présente souvent une barrière significative pour de nombreuses organisations. Un modèle de 70 milliards de paramètres, tel que Llama 3 70B, nécessite généralement environ 140 Go de mémoire GPU pour fonctionner en pleine précision (FP16). Cette exigence nécessite généralement plusieurs GPU d'entreprise haut de gamme, dont l'entreprise note qu'ils peuvent coûter entre 10 000 $ et 30 000 $ chacun, ce qui entraîne des coûts matériels totaux allant de 20 000 $ à 60 000 $.

Qu'est-ce que la quantification ?

Selon Hutton Tech Solutions, la quantification est une méthode permettant de réduire l'empreinte mémoire des modèles d'IA en représentant les poids avec moins de bits. Les modèles standard stockent les poids sous forme de nombres en virgule flottante sur 16 bits (FP16), ce qui offre une grande précision mais consomme beaucoup de mémoire. La quantification réduit ces bits à 8, 4 ou même 2 bits. L'entreprise décrit plusieurs niveaux de quantification : INT8 offre une réduction de la mémoire de 50 % ; INT4 et FP4 offrent une réduction de 75 % ; et INT2 offre une réduction de 87,5 %, bien qu'avec une perte de précision significative.

Hutton Tech Solutions identifie FP4 (virgule flottante sur 4 bits) comme une option équilibrée. Il offre la même réduction de mémoire de 75 % qu'INT4 tout en maintenant une meilleure précision en préservant le format en virgule flottante. L'entreprise déclare que la quantification FP4 mappe la plage complète des valeurs FP16 à seulement 16 valeurs possibles, allouant plus de précision aux valeurs courantes et moins aux extrêmes rares. Ce processus implique l'étalonnage, le mappage, la quantification et la déquantification en temps réel, en utilisant le support matériel des GPU modernes pour la vitesse.

Compromis entre performance et précision

L'entreprise fournit des benchmarks pour Llama 3 70B afin d'illustrer les différences de performance. En pleine précision (FP16), le modèle fonctionne à 25 jetons par seconde avec une précision de 100 %, nécessitant deux GPU A100 80 Go. Lorsqu'il est quantifié en FP4, le modèle fonctionne à 50 jetons par seconde, ce que Hutton Tech Solutions décrit comme une augmentation de vitesse de 100 %, tout en maintenant 93 % de la précision FP16. Cette configuration ne nécessite qu'un seul GPU A6000 48 Go ou un RTX 6000 Ada.

Hutton Tech Solutions suggère que FP4 convient aux tâches où de légères pertes de précision sont acceptables, telles que la génération de contenu, la synthèse, les chatbots, la génération de code et la traduction. Pour ces applications, l'entreprise déclare que la perte de précision est souvent imperceptible ou gérable. Cependant, l'entreprise conseille que les tâches impliquant le diagnostic médical, l'analyse juridique, la modélisation financière, la recherche scientifique ou le raisonnement complexe peuvent nécessiter des formats de précision plus élevés comme INT8 ou FP16 pour garantir la précision et la sécurité.

Impact économique pour les entreprises

L'entreprise met en évidence les avantages économiques de la quantification FP4 pour le déploiement d'IA privée. Hutton Tech Solutions calcule qu'une configuration FP16 en pleine précision coûte environ 65 000 $ en matériel et en coûts de serveur, avec un coût mensuel amorti de 1 800 $. En revanche, une configuration FP4 utilisant un seul GPU A6000 48 Go coûte environ 7 000 $ au total en matériel et en coûts de serveur, avec un coût mensuel de 195 $. L'entreprise déclare que cela représente une réduction de 89 % des coûts matériels par rapport à la pleine précision.

Hutton Tech Solutions recommande d'utiliser des outils tels que GPTQ, AWQ, GGUF ou bitsandbytes pour mettre en œuvre la quantification FP4. L'entreprise suggère que combiner la quantification FP4 avec le réglage fin permet aux entreprises de créer des modèles optimisés pour leur domaine spécifique tout en fonctionnant sur du matériel abordable. Cette approche, selon l'entreprise, permet aux entreprises de rivaliser avec les grandes entreprises en tirant parti de modèles optimisés plutôt que de s'appuyer sur le matériel le plus cher disponible.


Sources (en anglais)

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions explique la quantification FP4 pour l'IA en entreprise | Hermes Vector