Hutton Tech Solutions bietet NVIDIA Grace Blackwell KI-Infrastruktur

Hutton Tech Solutions bietet KI-Infrastruktur auf Unternehmensebene, die von der NVIDIA Grace Blackwell-Architektur angetrieben wird. Nach Angaben des Unternehmens ist dieses System darauf ausgelegt, Leistungsengpässe bei KI-Workloads zu adressieren, indem CPU- und GPU-Komponenten in eine einzige einheitliche Speicherumgebung integriert werden. Der Service richtet sich an Organisationen, die Hochleistungsrechnen-Fähigkeiten für das Training großer Modelle und die Echtzeit-Inferenz benötigen.

Architektur und Leistung

Der Kern des Angebots ist die Grace Blackwell-Architektur, die Hutton Tech Solutions als revolutionäres Design für KI-Workloads beschreibt. Das Unternehmen gibt an, dass das System ein einheitliches Speichersystem nutzt, bei dem CPU und GPU denselben Speicherbereich teilen. Diese Konfiguration ermöglicht einen Zero-Copy-Datentransfer, was das Unternehmen als vollständige Beseitigung von PCIe-Engpässen bezeichnet.

Was Geschwindigkeit und Kapazität betrifft, berichtet Hutton Tech Solutions, dass die Architektur eine Speicherbandbreite von 900GB/s liefert. Das Unternehmen behauptet, dies sei siebenmal schneller als herkömmliche Architekturen. Das System ist darauf ausgelegt, Datensätze zu verarbeiten, die größer als 120GB sind, ohne dass ein Datenaustausch (Swapping) erforderlich ist. Darüber hinaus gibt das Unternehmen an, dass die Infrastruktur das Fine-Tuning von Modellen mit 70 Milliarden oder mehr Parametern unterstützt.

Die Architektur umfasst auch fortschrittliche Quantisierungsfunktionen. Hutton Tech Solutions weist darauf hin, dass das System FP4-Präzision für maximale Effizienz unterstützt, zusammen mit Optionen für Mixed-Precision-Training, einschließlich FP4, FP8 und FP16. Das Unternehmen sagt, diese Funktionen ermöglichen optimale Genauigkeit und Geschwindigkeit. Die hardwarebeschleunigte Unterstützung für INT4 und INT8 ist enthalten, was das Unternehmen als native ganzzahlige Quantisierung mit Null-Genauigkeitsverlust beschreibt, wodurch die Modellqualität auch bei Kompression erhalten bleibt.

Sicherheit und Compliance

Hutton Tech Solutions betont die Sicherheit für sensible Workloads. Das Unternehmen gibt an, dass seine Infrastruktur zu 100 % privat ist und sicherstellt, dass Kundendaten Kamloops niemals verlassen. Dies bietet eine vollständige physische und logische Isolierung für alle gehosteten Anwendungen.

Bezüglich des Datenschutzes sagt Hutton Tech Solutions, dass das System AES-256-Verschlüsselung für Daten im Ruhezustand und TLS 1.3-Verschlüsselung für Daten in Bewegung verwendet. Das Unternehmen beschreibt dies als militärische Verschlüsselung durch die gesamte Infrastruktur. Der Service wird auch als compliance-bereit beschrieben, wobei das Unternehmen angibt, dass er die Standards HIPAA, SOC2 und GDPR erfüllt. Vollständige Audit-Trails und Dokumentation sind enthalten, um diese Compliance-Anforderungen zu unterstützen.

Anwendungsfälle

Das Unternehmen identifiziert mehrere ideale Anwendungen für diese Infrastruktur. Hutton Tech Solutions sagt, dass das System für das Fine-Tuning großer Modelle geeignet ist, insbesondere für benutzerdefinierte Large Language Models, die auf proprietären Daten trainiert wurden. Der einheitliche Speicher ermöglicht die Verarbeitung großer Datensätze während dieses Prozesses.

Für die Echtzeit-Inferenz gibt das Unternehmen an, dass die Infrastruktur eine Latenz im Sub-Millisekundenbereich bietet, was sie für Produktions-Workloads wie High-Frequency-Trading und Live-Anwendungen geeignet macht. Das System kann auch mehrere Modelle gleichzeitig ausführen, ohne dass es zu einer Leistungseinbuße kommt, was das Unternehmen als ideal für A/B-Test-Szenarien ansieht.

Darüber hinaus weist Hutton Tech Solutions darauf hin, dass die Infrastruktur Forschungs- und Entwicklungsaktivitäten unterstützt. Das Unternehmen sagt, dass die Speicherkapazität von über 120GB in der Lage ist, die größten Forschungsdatensätze zu verarbeiten, was es Forschern ermöglicht, mit modernsten Architekturen zu experimentieren.

Hutton Tech Solutions lädt potenzielle Kunden ein, eine Demo zu buchen, um die Infrastrukturpläne zu sehen. Das Unternehmen gibt an, dass dies den Nutzern ermöglicht, die Grace Blackwell-Architektur in Aktion zu sehen, bevor sie sich für einen Service-Plan entscheiden.

Quellen (auf Englisch)

• Hutton Tech Solutions: product page

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.