Hutton Tech Solutions a lancé un service axé sur l'inférence IA privée, conçu spécifiquement pour les entreprises de Kamloops qui exigent une souveraineté stricte des données et une conformité réglementaire. L'entreprise déclare que les services d'IA cloud traditionnels, tels que ceux d'OpenAI ou Claude, impliquent l'envoi d'informations sensibles à des serveurs situés dans des juridictions étrangères, qui peuvent être soumises à des lois telles que le CLOUD Act et utilisées pour l'entraînement des modèles. En revanche, Hutton Tech Solutions propose une alternative locale où les données restent sous le contrôle de l'entreprise.
Français ·
Sponsored content from Hutton Tech Solutions.
Hutton Tech Solutions propose l'inférence IA privée locale
Hutton Tech Solutions fournit une infrastructure d'inférence IA privée à Kamloops, permettant aux entreprises de traiter des données sensibles localement sans les envoyer à des fournisseurs de cloud.
Par Hermes Vector · Read in English

En bref
- L'entreprise déclare que l'inférence IA privée s'exécute sur du matériel dédié à Kamloops, garantissant que les données ne quittent jamais le Canada ni ne franchissent les frontières internationales.
- Selon Hutton Tech Solutions, l'infrastructure est conforme aux normes HIPAA, SOC2 et PIPEDA, répondant aux préoccupations réglementaires des secteurs de la santé, du juridique et de la finance.
- L'entreprise indique que le service utilise une API compatible avec OpenAI, permettant aux logiciels existants de se connecter en modifiant simplement l'URL du point de terminaison.
Ce que propose le service
L'inférence IA privée, telle que décrite par l'entreprise, consiste à exécuter des modèles IA sur du matériel dédié contrôlé par le client. Cette infrastructure est physiquement située à Kamloops, garantissant que les données ne quittent jamais le bâtiment ni ne franchissent les frontières internationales. L'entreprise déclare que cette approche élimine la journalisation, ce qui signifie qu'aucune requête ni réponse n'est stockée, et empêche l'utilisation des données pour entraîner d'autres modèles. Cette configuration est présentée comme une solution pour les industries où la confidentialité des données est critique, notamment les secteurs de la santé, du juridique, des services financiers et du gouvernement.
La technologie repose sur des systèmes NVIDIA DGX de qualité entreprise. Selon l'entreprise, ces systèmes disposent de 192 Go de mémoire unifiée, de GPU d'architecture Grace Blackwell et d'un réseau haute vitesse avec une latence inférieure à la milliseconde. L'infrastructure est conçue pour prendre en charge de grands modèles, tels que Llama 3 avec jusqu'à 405 milliards de paramètres, sans les limites de débit souvent associées aux services cloud. L'entreprise note que cette configuration locale peut offrir des temps de réponse plus rapides pour les requêtes simples, généralement entre 50 et 200 ms, par rapport aux services cloud qui peuvent avoir une latence de base plus élevée en raison du trajet réseau.
À qui s'adresse-t-il
L'entreprise identifie plusieurs secteurs clés qui bénéficient de cette infrastructure locale. Pour les prestataires de soins de santé, Hutton Tech Solutions déclare que le service permet l'analyse des dossiers des patients et la génération de résumés cliniques sans violer la loi HIPAA ni les lois provinciales sur la santé. Dans le secteur juridique, le service est positionné pour aider les cabinets à maintenir le secret professionnel avocat-client en évitant les risques associés à l'envoi de communications privilégiées à des services cloud tiers. Les institutions financières et les entités gouvernementales sont également citées comme utilisateurs principaux, car elles sont soumises à de strictes réglementations de protection des données qui interdisent l'envoi d'informations clients à des clouds tiers.
L'entreprise fournit une étude de cas d'une clinique médicale de Kamloops qui a mis en œuvre cette solution. Selon Hutton Tech Solutions, la clinique a utilisé un GPU NVIDIA Blackwell dédié avec un modèle Llama 3 70B affiné pour aider à la documentation clinique. L'entreprise déclare que cela a entraîné une réduction de 90 % du temps de documentation et des économies mensuelles de 15 000 $ par rapport à l'embauche de scribes médicaux, tout en maintenant une conformité HIPAA à 100 %.
Tarification et mise en œuvre
Hutton Tech Solutions propose un modèle d'abonnement mensuel pour une infrastructure dédiée. L'entreprise déclare que les abonnements mensuels commencent à 2 000 $ par mois, sans contrats à long terme requis. Ce coût comprend une utilisation illimitée, aucune limite de débit et un soutien complet à la conformité. L'entreprise compare cela aux coûts du cloud, notant que pour les entreprises traitant trois millions de jetons ou plus par jour, l'IA privée peut être plus rentable que les services cloud comme OpenAI GPT-4, que l'entreprise estime coûter 10 800 $ annuellement pour un volume similaire.
La mise en œuvre prend généralement deux à quatre semaines. Le processus commence par une évaluation des cas d'utilisation et des besoins de conformité, suivie du déploiement du matériel et de la configuration de la sécurité VPN. L'entreprise déclare que l'API est compatible avec OpenAI, ce qui signifie que les applications existantes peuvent se connecter à l'infrastructure privée en modifiant simplement l'URL du point de terminaison. Hutton Tech Solutions gère toutes les mises à jour des modèles, la maintenance et l'optimisation, garantissant que les clients ont accès aux dernières capacités d'IA sans gérer la technologie sous-jacente.
Hutton Tech Solutions est une entreprise privée et n'est cotée sur aucune bourse.
Sources (en anglais)
Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.
How do you feel about this story?
Comments 0
No comments yet. Start the discussion.