Hutton Tech Solutions propose le réglage fin de modèles à contexte long

Hutton Tech Solutions propose un service de réglage fin de modèles d'intelligence artificielle pour gérer des données à contexte long. L'entreprise indique que les systèmes d'IA génériques oublient souvent des informations, tandis que son service est conçu pour conserver le contexte en entraînant les modèles sur l'intégralité de la bibliothèque de documents d'un client simultanément. Cette approche permet à l'IA résultante de comprendre les données spécifiques et les nuances linguistiques sans perdre le contexte pendant son fonctionnement. L'entraînement est effectué sur une infrastructure privée locale, garantissant que les données ne quittent pas l'environnement sécurisé de l'entreprise.

Ce que comprend le service

L'entreprise décrit un package de livrables complet pour ses projets d'entraînement. Selon Hutton Tech Solutions, les clients reçoivent les poids des modèles réglés finement au format HuggingFace, ainsi que des adaptateurs LoRA si l'entraînement QLoRA est utilisé. Le package comprend également une configuration de tokenizer optimisée pour les données spécifiques, des scripts d'inférence en Python, des points de terminaison d'API et un conteneur Docker pour faciliter le déploiement.

La validation et la documentation font partie de l'offre standard. L'entreprise indique que les clients reçoivent un rapport d'entraînement comprenant des courbes de perte et des métriques, ainsi qu'une validation de la précision effectuée sur un ensemble de test fourni par le client. Des sorties d'exemple sont incluses pour démontrer le comportement appris. De plus, le package contient une documentation des hyperparamètres, tels que les détails du taux d'apprentissage et de la taille du lot, ainsi qu'un guide d'intégration API pour l'application du client.

Tarification et niveaux d'investissement

Hutton Tech Solutions structure ses services en trois niveaux d'investissement, chacun avec des frais de projet uniques incluant l'entraînement, la validation et le support de déploiement. Le niveau Starter est facturé 3 000 $. Cette option prend en charge le réglage fin à petite échelle pour les modèles jusqu'à 13B de paramètres, tels que Llama 3 8B ou Mistral 7B. Elle permet une fenêtre de contexte de 50k tokens pendant l'entraînement et gère 10 à 20 documents au format PDF, Word ou texte. L'entreprise indique que ce niveau utilise la méthode de réglage fin QLoRA et offre un délai de 3 à 5 jours.

Le niveau Professional est facturé 7 500 $ et est décrit comme un entraînement de qualité entreprise. Ce niveau prend en charge les modèles jusqu'à 70B de paramètres, y compris Llama 3 70B ou des modèles personnalisés, avec une fenêtre de contexte de plus de 100k tokens. Il prend en charge plus de 50 documents avec un nombre illimité de pages et offre le choix entre un réglage fin complet ou QLoRA. L'entreprise indique que ce niveau comprend des tests de précision complets utilisant MMLU et des évaluations personnalisées, ainsi qu'un délai de 48 à 72 heures. Il fournit également deux semaines de support post-lancement pour la correction de bugs et le réglage.

Le niveau Enterprise a des tarifs personnalisés et est conçu pour une capacité maximale. Il prend en charge les modèles de plus de 70B de paramètres avec une capacité de fenêtre de contexte illimitée et un nombre illimité de documents, permettant un entraînement multi-domaine. L'entreprise indique que ce niveau comprend un traitement prioritaire avec un délai de 24 à 48 heures, des cadres d'évaluation personnalisés et un support API de niveau production avec équilibrage de charge. Il comprend également une période d'optimisation de 90 jours, qui inclut un réentraînement si nécessaire, et un canal de support dédié via Slack ou Discord.

Secteurs cibles et approche technique

Hutton Tech Solutions identifie plusieurs secteurs qui pourraient bénéficier de son réglage fin à contexte long. L'entreprise cite les cabinets juridiques, notant que le service peut s'entraîner sur la jurisprudence, les contrats et les précédents pour comprendre les nuances juridictionnelles. Pour la recherche médicale, l'entreprise indique que le service peut ingérer des essais cliniques, des articles de recherche et des données patients, avec un entraînement conforme à la HIPAA. Le service est également commercialisé pour la connaissance d'entreprise, visant à consolider la documentation, les politiques et le savoir institutionnel d'une entreprise en un seul système d'IA.

L'entreprise met en avant son approche technique comme un différenciateur. Elle indique que la plupart des fournisseurs limitent les fenêtres de contexte à 8k-32k tokens, ce qui force le fractionnement des données et la perte de connexions. En revanche, Hutton Tech Solutions s'entraîne avec plus de 100k tokens à la fois. L'entreprise note également qu'elle utilise QLoRA sur des modèles de 70B, permettant le réglage fin de modèles massifs qui nécessitent généralement des grappes de cloud coûteuses, mais à une fraction du coût. L'entreprise souligne que son infrastructure termine l'entraînement en 48 à 72 heures, contrastant avec les semaines souvent requises par les concurrents.

Pour démarrer un projet, l'entreprise nécessite des documents tels que des PDF, des fichiers Word ou des fichiers texte, qu'elle traite lors du prétraitement. Les clients doivent également définir les objectifs d'entraînement et sélectionner un modèle de base, tel que Llama 3, Mistral ou un modèle personnalisé. Hutton Tech Solutions est une entreprise privée et n'est cotée sur aucune bourse.

Sources (en anglais)

• Hutton Tech Solutions: product page

Traduction réalisée par IA de l’article original en anglais, vérifiée automatiquement pour dire la même chose que l’original. Les sources ont été vérifiées en anglais.