Hutton Tech Solutions bietet private KI-Inferenz an

Was es ist

Hutton Tech Solutions beschreibt sein Kernangebot als private KI-Inferenz, die darauf ausgelegt ist, Daten innerhalb der Kontrolle des Kunden zu halten. Das Unternehmen stellt fest, dass dieser Dienst es Organisationen ermöglicht, KI-Modelle auszuführen, ohne Daten an öffentliche Anbieter wie OpenAI zu senden. Laut Hutton Tech Solutions ist die Infrastruktur dediziert und gehärtet, was sicherstellt, dass Workloads niemals Rechenressourcen mit anderen teilen. Das Unternehmen betont, dass diese Einrichtung Mehrbenutzer-Risiken vollständig eliminiert.

Sicherheit und Compliance

Das Unternehmen hebt einen Zero-Compromise-Sicherheitsansatz für seine privaten Knoten hervor. Hutton Tech Solutions gibt an, dass es eine Zero-Logging-Richtlinie implementiert, was bedeutet, dass keine Abfrage- oder Antwortdaten gespeichert werden. Das Unternehmen stellt fest, dass alle Daten während der Übertragung über TLS 1.3 geschützt sind, während ruhende Daten mit AES-256 verschlüsselt werden. Laut den Spezifikationen des Unternehmens ist die Infrastruktur bereit für die Einhaltung wichtiger Standards, einschließlich HIPAA, SOC2 und GDPR. Monatliche Sicherheitsberichte und Audit-Logs sind als Teil des Dienstes enthalten.

Zielindustrien

Hutton Tech Solutions identifiziert spezifische Sektoren, in denen öffentliche KI-Dienste aufgrund der Datenempfindlichkeit nicht praktikabel sind. Das Unternehmen gibt an, dass Verteidigungs- und Regierungsbehörden Lösungen benötigen, die ITAR, FedRAMP und klassifizierte Daten verarbeiten. Kunden im Finanzdienstleistungssektor benötigen Infrastrukturen, die die Anforderungen der PCI-DSS- und SOX-Compliance erfüllen. Laut dem Unternehmen nutzen Gesundheitsorganisationen den Dienst, um die Patientendatenschutzbestimmungen gemäß HIPAA-Regulierungen einzuhalten. Das Unternehmen weist auch darauf hin, dass die Erwachsenenindustrie ähnliche Datenschutzschutzmaßnahmen für die Inhaltsmoderation benötigt.

Preise und Stufen

Hutton Tech Solutions bietet drei distincte Preisstufen basierend auf dem erforderlichen Isolations- und Support-Level an. Die Dedicated-Stufe ist mit 2.000 US-Dollar pro Monat bewertet und umfasst einen Single-Tenant-Knoten mit Modellen bis zu 70B Parametern. Die Premium-Stufe kostet 3.500 US-Dollar pro Monat und fügt Multi-Model-Deployments sowie benutzerdefinierte Sicherheitsrichtlinien hinzu. Laut dem Unternehmen ist die Sovereign-Stufe für 6.000 US-Dollar pro Monat verfügbar und bietet eine air-gapped Deployment-Option oder eine On-Premises-Installation. Das Unternehmen stellt fest, dass die Sovereign-Stufe auch eine rechtliche Haftungsausschluss und verhandelbare benutzerdefinierte SLA-Bedingungen umfasst.

Verfügbare Modelle und Zugang

Kunden können aus verschiedenen vorinstallierten KI-Modellen wählen, darunter Llama 3 in den Varianten 8B, 70B und 405B sowie Mistral/Mixtral und DeepSeek Coder. Hutton Tech Solutions gibt an, dass die Infrastruktur mehrere Inferenz-Engines unterstützt, wie vLLM für hohe Durchsatzraten und TensorRT-LLM für geringe Latenz. Das Unternehmen stellt fest, dass der Zugang über einen privaten VPN-Tunnel mit WireGuard oder OpenVPN sowie eine statische IP-Adresse bereitgestellt wird. Laut dem Unternehmen erhalten Benutzer SSH-Zugang mit schlüsselbasierter Authentifizierung und eine OpenAI-kompatible REST-API.

---

Quellen (auf Englisch)

• Hutton Tech Solutions: product page

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.