Hutton Tech Solutions propose une inférence IA privée

Qu'est-ce que c'est

Hutton Tech Solutions décrit son offre principale comme une inférence IA privée conçue pour garder les données sous le contrôle du client. L'entreprise indique que ce service permet aux organisations d'exécuter des modèles d'IA sans envoyer de données à des fournisseurs publics comme OpenAI. Selon Hutton Tech Solutions, l'infrastructure est dédiée et renforcée, garantissant que les charges de travail ne partagent jamais les ressources de calcul avec quiconque. L'entreprise souligne que cette configuration élimine entièrement les risques de multitenancy.

Sécurité et conformité

L'entreprise met en avant une approche de sécurité sans compromis pour ses nœuds privés. Hutton Tech Solutions indique qu'elle met en œuvre une politique de journalisation nulle, ce qui signifie qu'aucune donnée de requête ou de réponse n'est stockée. L'entreprise précise que toutes les données en transit sont protégées via TLS 1.3, tandis que les données au repos sont chiffrées à l'aide d'AES-256. Selon les spécifications de l'entreprise, l'infrastructure est prête pour la conformité avec les normes majeures incluant HIPAA, SOC2 et GDPR. Les rapports de sécurité mensuels et les journa d'audit sont inclus dans le cadre du service.

Secteurs ciblés

Hutton Tech Solutions identifie des secteurs spécifiques où les services d'IA publics ne sont pas viables en raison de la sensibilité des données. L'entreprise indique que les entités de défense et gouvernementales nécessitent des solutions capables de gérer les données ITAR, FedRAMP et classifiées. Les clients du secteur des services financiers ont besoin d'une infrastructure qui répond aux exigences de conformité PCI-DSS et SOX. Selon l'entreprise, les organisations de santé utilisent le service pour maintenir la confidentialité des patients conformément aux réglementations HIPAA. L'entreprise note également que l'industrie du divertissement pour adultes nécessite des protections de confidentialité similaires pour la modération du contenu.

Tarifs et niveaux

Hutton Tech Solutions propose trois niveaux de tarification distincts basés sur le niveau d'isolement et de support requis. Le niveau Dedicated est tarifié à 2 000 $ par mois et inclut un nœud à un seul locataire avec des modèles allant jusqu'à 70B paramètres. Le niveau Premium coûte 3 500 $ par mois et ajoute des capacités de déploiement multi-modèles ainsi que des politiques de sécurité personnalisées. Selon l'entreprise, le niveau Sovereign est disponible à 6 000 $ par mois et présente une option de déploiement isolé par air ou une installation sur site. L'entreprise indique que le niveau Sovereign inclut également une indemnisation juridique et des termes de SLA personnalisés négociables.

Modèles disponibles et accès

Les clients peuvent choisir parmi divers modèles d'IA préinstallés, notamment Llama 3 dans les variantes 8B, 70B et 405B, ainsi que Mistral/Mixtral et DeepSeek Coder. Hutton Tech Solutions indique que l'infrastructure prend en charge plusieurs moteurs d'inférence tels que vLLM pour un débit élevé et TensorRT-LLM pour une faible latence. L'entreprise précise que l'accès est fourni via un tunnel VPN privé utilisant WireGuard ou OpenVPN, ainsi qu'une adresse IP statique. Selon l'entreprise, les utilisateurs reçoivent un accès SSH avec une authentification basée sur des clés et une API REST compatible OpenAI.

---

Sources (en anglais)

• Hutton Tech Solutions: product page

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.