Hutton Tech Solutions bietet Feinabstimmung von Modellen mit langem Kontext

Hutton Tech Solutions bietet einen Dienst zur Feinabstimmung von künstlichen Intelligenz-Modellen an, um mit Daten mit langem Kontext umzugehen. Das Unternehmen gibt an, dass generische KI-Systeme Informationen oft vergessen, während sein Dienst darauf ausgelegt ist, den Kontext zu behalten, indem Modelle gleichzeitig auf der gesamten Dokumentenbibliothek eines Kunden trainiert werden. Dieser Ansatz ermöglicht es der resultierenden KI, spezifische Daten und sprachliche Nuancen zu verstehen, ohne den Kontext während des Betriebs zu verlieren. Das Training findet auf lokaler privater Infrastruktur statt, was sicherstellt, dass die Daten das sichere Umfeld des Unternehmens nicht verlassen.

Was der Service beinhaltet

Das Unternehmen beschreibt ein vollständiges Paket für seine Trainingsprojekte. Laut Hutton Tech Solutions erhalten Kunden feinabgestimmte Modellgewichte im HuggingFace-Format sowie LoRA-Adapter, wenn QLoRA-Training verwendet wird. Das Paket enthält auch eine für die spezifischen Daten optimierte Tokenizer-Konfiguration, Inference-Skripte in Python, API-Endpunkte und einen Docker-Container zur Erleichterung der Bereitstellung.

Validierung und Dokumentation sind Teil des Standardangebots. Das Unternehmen sagt, dass Kunden einen Trainingsbericht mit Verlustkurven und Metriken sowie eine Genauigkeitsvalidierung, die an einem vom Kunden bereitgestellten Testset durchgeführt wurde, erhalten. Beispielausgaben sind enthalten, um das erlernte Verhalten zu demonstrieren. Darüber hinaus enthält das Paket Hyperparameter-Dokumentation, wie Details zu Lernrate und Batch-Größe, sowie eine API-Integrationsanleitung für die Anwendung des Kunden.

Preise und Investitionsstufen

Hutton Tech Solutions strukturiert seine Dienste in drei Investitionsstufen, jede mit einer einmaligen Projektfee, die Schulung, Validierung und Unterstützung bei der Bereitstellung umfasst. Die Starter-Stufe kostet 3.000 $. Diese Option unterstützt die Feinabstimmung kleiner Skalen für Modelle mit bis zu 13B Parametern, wie Llama 3 8B oder Mistral 7B. Sie ermöglicht ein Kontextfenster von 50k Token während des Trainings und verarbeitet 10-20 Dokumente in PDF-, Word- oder Textformaten. Das Unternehmen gibt an, dass diese Stufe die QLoRA-Feinabstimmungsmethode verwendet und eine Bearbeitungszeit von 3-5 Tagen bietet.

Die Professional-Stufe kostet 7.500 $ und wird als Schulung auf Unternehmensebene beschrieben. Diese Stufe unterstützt Modelle mit bis zu 70B Parametern, einschließlich Llama 3 70B oder benutzerdefinierten Modellen, mit einem Kontextfenster von 100k+ Token. Sie bietet Platz für 50+ Dokumente mit unbegrenzten Seiten und bietet die Wahl zwischen vollständiger Feinabstimmung oder QLoRA. Das Unternehmen sagt, dass diese Stufe umfassende Genauigkeitstests mit MMLU und benutzerdefinierten Bewertungen sowie eine Bearbeitungszeit von 48-72 Stunden umfasst. Sie bietet auch zwei Wochen Support nach dem Launch für Fehlerbehebungen und Feinabstimmungen.

Die Enterprise-Stufe hat individuelle Preise und ist für maximale Leistungsfähigkeit konzipiert. Sie unterstützt Modelle mit 70B+ Parametern mit unbegrenzter Kontextfensterkapazität und unbegrenzten Dokumenten, was ein training über mehrere Domänen hinweg ermöglicht. Das Unternehmen gibt an, dass diese Stufe priorisierte Verarbeitung mit einer Bearbeitungszeit von 24-48 Stunden, benutzerdefinierte Bewertungsframeworks und API-Unterstützung auf Produktionsniveau mit Lastverteilung umfasst. Sie verfügt auch über eine 90-tägige Optimierungsphase, die bei Bedarf ein Retraining beinhaltet, und einen dedizierten Supportkanal über Slack oder Discord.

Zielindustrien und technischer Ansatz

Hutton Tech Solutions identifiziert mehrere Sektoren, die von seiner Feinabstimmung mit langem Kontext profitieren könnten. Das Unternehmen listet Anwaltskanzleien auf und stellt fest, dass der Dienst auf Präzedenzfällen, Verträgen und Urteilen trainiert werden kann, um juristische Nuancen zu verstehen. Für die medizinische Forschung sagt das Unternehmen, dass der Dienst klinische Studien, Forschungsarbeiten und Patientendaten verarbeiten kann, wobei das Training HIPAA-konform ist. Der Dienst wird auch für Unternehmenswissen vermarktet, das darauf abzielt, die Dokumentation, Richtlinien und das institutionelle Wissen eines Unternehmens in einem einzigen KI-System zu konsolidieren.

Das Unternehmen hebt seinen technischen Ansatz als Unterscheidungsmerkmal hervor. Es gibt an, dass die meisten Anbieter Kontextfenster auf 8k-32k Token begrenzen, was das Aufteilen von Daten und den Verlust von Zusammenhängen erzwingt. Im Gegensatz dazu trainiert Hutton Tech Solutions mit 100k+ Token auf einmal. Das Unternehmen weist auch darauf hin, dass es QLoRA auf 70B-Modellen verwendet, was die Feinabstimmung massiver Modelle ermöglicht, die normalerweise teure Cloud-Cluster erfordern, jedoch zu einem Bruchteil der Kosten. Das Unternehmen betont, dass seine Infrastruktur das Training in 48-72 Stunden abschließt, im Gegensatz zu den Wochen, die oft von Wettbewerbern benötigt werden.

Um ein Projekt zu beginnen, benötigt das Unternehmen Dokumente wie PDFs, Word-Dokumente oder Textdateien, die es während der Vorverarbeitung verarbeitet. Kunden müssen auch Trainingsziele definieren und ein Basismodell auswählen, wie Llama 3, Mistral oder ein benutzerdefiniertes Modell. Hutton Tech Solutions ist ein privates Unternehmen und nicht an einer Börse gelistet.

Quellen (auf Englisch)

• Hutton Tech Solutions: product page

KI-Übersetzung des englischen Originalartikels, automatisch geprüft, damit sie dasselbe aussagt wie das Original. Die Quellen wurden auf Englisch geprüft.