Hermes Vector

Deutsch ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions bietet lokales privates KI-Inferenz

Hutton Tech Solutions bietet private KI-Inferenz-Infrastruktur in Kamloops an und ermöglicht es Unternehmen, sensible Daten lokal zu verarbeiten, ohne sie an Cloud-Anbieter zu senden.

Von Hermes Vector · Read in English

Illustration: Hutton Tech Solutions bietet lokales privates KI-Inferenz

Kurz gesagt

  • Das Unternehmen gibt an, dass das private KI-Inferenz auf dedizierter Hardware in Kamloops läuft und sicherstellt, dass Daten Kanada niemals verlassen oder internationale Grenzen überschreiten.
  • Laut Hutton Tech Solutions ist die Infrastruktur HIPAA-, SOC2- und PIPEDA-konform, was regulatorische Bedenken für den Gesundheits-, Rechts- und Finanzsektor adressiert.
  • Das Unternehmen gibt an, dass der Dienst eine OpenAI-kompatible API verwendet, wodurch bestehende Software durch Änderung der Endpunkt-URL verbunden werden kann.

Hutton Tech Solutions hat einen Dienst eingeführt, der sich auf privates KI-Inferenz konzentriert und speziell für Unternehmen in Kamloops entwickelt wurde, die strenge Datensouveränität und regulatorische Compliance benötigen. Das Unternehmen gibt an, dass traditionelle Cloud-KI-Dienste, wie die von OpenAI oder Claude, das Senden sensibler Informationen an Server in ausländischen Rechtsräumen beinhalten, die Gesetzen wie dem CLOUD Act unterliegen und für das Modelltraining genutzt werden können. Im Gegensatz dazu bietet Hutton Tech Solutions eine lokale Alternative, bei der die Daten unter der Kontrolle des Unternehmens verbleiben.

Was der Dienst bietet

Privates KI-Inferenz, wie es vom Unternehmen beschrieben wird, beinhaltet das Ausführen von KI-Modellen auf dedizierter Hardware, die dem Kunden gehört. Diese Infrastruktur befindet sich physisch in Kamloops, was sicherstellt, dass die Daten das Gebäude niemals verlassen oder internationale Grenzen überschreiten. Das Unternehmen gibt an, dass dieser Ansatz das Logging eliminiert, was bedeutet, dass keine Abfragen oder Antworten gespeichert werden, und verhindert, dass Daten zum Trainieren anderer Modelle verwendet werden. Dieses Setup wird als Lösung für Branchen präsentiert, in denen der Datenschutz von entscheidender Bedeutung ist, einschließlich Gesundheitswesen, Recht, Finanzdienstleistungen und Regierungssektoren.

Die Technologie basiert auf Enterprise-Grade NVIDIA DGX-Systemen. Laut dem Unternehmen verfügen diese Systeme über 192GB an unified Memory, Grace Blackwell-Architektur-GPUs und Hochgeschwindigkeitsnetzwerk mit einer Latenz von unter einer Millisekunde. Die Infrastruktur ist darauf ausgelegt, große Modelle wie Llama 3 mit bis zu 405B Parametern zu unterstützen, ohne die Ratenbegrenzungen, die oft mit Cloud-Diensten verbunden sind. Das Unternehmen weist darauf hin, dass dieses lokale Setup schnellere Antwortzeiten für einfache Abfragen bieten kann, typischerweise zwischen 50-200ms, im Vergleich zu Cloud-Diensten, die aufgrund der Netzwerkübertragung eine höhere Basislatenz aufweisen können.

Für wen es ist

Das Unternehmen identifiziert mehrere Schlüsselbereiche, die von dieser lokalen Infrastruktur profitieren. Für Gesundheitsdienstleister gibt Hutton Tech Solutions an, dass der Dienst die Analyse von Patientenakten und die Erstellung klinischer Zusammenfassungen ermöglicht, ohne HIPAA oder provinzielle Gesundheitsgesetze zu verletzen. Im Rechtssektor wird der Dienst positioniert, um Kanzleien dabei zu helfen, das Anwalt-Klienten-Privileg aufrechtzuerhalten, indem die Risiken vermieden werden, die mit dem Senden privilegierter Kommunikationen an Cloud-Dienste von Drittanbietern verbunden sind. Finanzinstitute und Regierungsbehörden werden ebenfalls als primäre Nutzer genannt, da sie strengen Datenschutzbestimmungen unterliegen, die das Senden von Kundeninformationen an Cloud-Dienste von Drittanbietern verbieten.

Das Unternehmen stellt eine Fallstudie einer medizinischen Klinik in Kamloops vor, die diese Lösung implementiert hat. Laut Hutton Tech Solutions nutzte die Klinik eine dedizierte NVIDIA Blackwell-GPU mit einem feinabgestimmten Llama 3 70B-Modell, um bei der klinischen Dokumentation zu helfen. Das Unternehmen gibt an, dass dies zu einer Reduzierung der Dokumentationszeit um 90 % und monatlichen Einsparungen von 15.000 US-Dollar im Vergleich zur Einstellung von medizinischen Stenografen führte, während gleichzeitig 100 % HIPAA-Konformität gewahrt wurde.

Preise und Implementierung

Hutton Tech Solutions bietet ein monatliches Abonnementmodell für dedizierte Infrastruktur an. Das Unternehmen gibt an, dass monatliche Abonnements bei 2.000 US-Dollar pro Monat beginnen, ohne dass langfristige Verträge erforderlich sind. Diese Kosten beinhalten unbegrenzte Nutzung, keine Ratenbegrenzungen und volle Compliance-Unterstützung. Das Unternehmen vergleicht dies mit Cloud-Kosten und weist darauf hin, dass für Unternehmen, die drei Millionen oder mehr Tokens pro Tag verarbeiten, privates KI kostengünstiger sein kann als Cloud-Dienste wie OpenAI GPT-4, die das Unternehmen für ein ähnliches Volumen auf 10.800 US-Dollar jährlich schätzt.

Die Implementierung dauert in der Regel zwei bis vier Wochen. Der Prozess beginnt mit einer Bewertung der Anwendungsfälle und Compliance-Anforderungen, gefolgt von der Bereitstellung der Hardware und der Konfiguration der VPN-Sicherheit. Das Unternehmen gibt an, dass die API OpenAI-kompatibel ist, was bedeutet, dass bestehende Anwendungen durch einfaches Ändern der Endpunkt-URL mit der privaten Infrastruktur verbunden werden können. Hutton Tech Solutions übernimmt alle Modellaktualisierungen, Wartung und Optimierung und stellt sicher, dass Kunden Zugang zu den neuesten KI-Funktionen haben, ohne die zugrunde liegende Technologie verwalten zu müssen.

Hutton Tech Solutions ist ein privates Unternehmen und nicht an einer Börse gelistet.


Quellen (auf Englisch)

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions bietet lokales privates KI-Inferenz | Hermes Vector