Hutton Tech Solutions propose une infrastructure IA basée sur l'architecture NVIDIA Grace Blackwell

Hutton Tech Solutions fournit une infrastructure d'intelligence artificielle de qualité entreprise alimentée par l'architecture NVIDIA Grace Blackwell. Selon l'entreprise, ce système est conçu pour résoudre les goulets d'étranglement de performance dans les charges de travail d'IA en intégrant les composants CPU et GPU dans un environnement de mémoire unifiée unique. Le service est positionné pour les organisations nécessitant des capacités de calcul haute performance pour l'entraînement de modèles à grande échelle et l'inférence en temps réel.

Architecture et performance

Le cœur de l'offre est l'architecture Grace Blackwell, que Hutton Tech Solutions décrit comme une conception révolutionnaire pour les charges de travail d'IA. L'entreprise indique que le système utilise un système de mémoire unifiée où le CPU et le GPU partagent le même espace mémoire. Cette configuration permet un transfert de données sans copie, ce qui, selon l'entreprise, élimine complètement les goulets d'étranglement PCIe.

En termes de vitesse et de capacité, Hutton Tech Solutions rapporte que l'architecture offre 900 Go/s de bande passante mémoire. L'entreprise affirme qu'il s'agit de sept fois plus rapide que les architectures traditionnelles. Le système est conçu pour gérer des ensembles de données supérieurs à 120 Go sans nécessiter d'échange de données. De plus, l'entreprise déclare que l'infrastructure prend en charge le réglage fin de modèles avec 70 milliards de paramètres ou plus.

L'architecture comprend également des fonctionnalités de quantification avancées. Hutton Tech Solutions note que le système prend en charge la précision FP4 pour une efficacité maximale, ainsi que des options d'entraînement en précision mixte incluant FP4, FP8 et FP16. L'entreprise indique que ces fonctionnalités permettent une précision et une vitesse optimales. La prise en charge INT4 et INT8 accélérée par le matériel est incluse, ce qui, selon l'entreprise, permet une quantification entière native avec une perte de précision nulle, maintenant la qualité du modèle même avec la compression.

Sécurité et conformité

Hutton Tech Solutions met l'accent sur la sécurité pour les charges de travail sensibles. L'entreprise déclare que son infrastructure est 100 % privée, garantissant que les données des clients ne quittent jamais Kamloops. Cela fournit une isolation physique et logique complète pour toutes les applications hébergées.

En ce qui concerne la protection des données, Hutton Tech Solutions indique que le système utilise le chiffrement AES-256 pour les données au repos et le chiffrement TLS 1.3 pour les données en transit. L'entreprise décrit cela comme un chiffrement de qualité militaire à travers toute l'infrastructure. Le service est également décrit comme prêt pour la conformité, l'entreprise déclarant qu'il respecte les normes HIPAA, SOC2 et RGPD. Des traces d'audit complètes et une documentation sont incluses pour soutenir ces exigences de conformité.

Cas d'utilisation

L'entreprise identifie plusieurs applications idéales pour cette infrastructure. Hutton Tech Solutions indique que le système convient au réglage fin de grands modèles, en particulier pour les grands modèles de langage personnalisés entraînés sur des données propriétaires. La mémoire unifiée permet de gérer de grands ensembles de données lors de ce processus.

Pour l'inférence en temps réel, l'entreprise déclare que l'infrastructure offre une latence inférieure à la milliseconde, ce qui la rend adaptée aux charges de travail de production telles que le trading haute fréquence et les applications en direct. Le système peut également exécuter plusieurs modèles simultanément sans dégradation des performances, ce qui, selon l'entreprise, est idéal pour les scénarios de test A/B.

De plus, Hutton Tech Solutions note que l'infrastructure prend en charge les activités de recherche et développement. L'entreprise indique que la capacité mémoire de 120 Go+ est capable de gérer les plus grands ensembles de données de recherche, permettant aux chercheurs d'expérimenter des architectures de pointe.

Hutton Tech Solutions invite les clients potentiels à planifier une démonstration pour voir les plans d'infrastructure. L'entreprise déclare que cela permet aux utilisateurs de voir l'architecture Grace Blackwell en action avant de s'engager dans un plan de service.

Sources (en anglais)

• Hutton Tech Solutions: product page

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.