Hutton Tech Solutions Ofrece Ajuste Fino de Modelos de Contexto Largo

Hutton Tech Solutions ofrece un servicio para el ajuste fino de modelos de inteligencia artificial para manejar datos de contexto largo. La empresa afirma que los sistemas genéricos de IA a menudo olvidan la información, mientras que su servicio está diseñado para retener el contexto entrenando modelos en toda la biblioteca de documentos de un cliente simultáneamente. Este enfoque permite que la IA resultante comprenda datos específicos y matices del lenguaje sin perder el contexto durante la operación. El entrenamiento se realiza en una infraestructura privada local, asegurando que los datos no salgan del entorno seguro de la empresa.

Qué Incluye el Servicio

La empresa describe un paquete completo de entregables para sus proyectos de entrenamiento. Según Hutton Tech Solutions, los clientes reciben pesos de modelos ajustados en formato HuggingFace, junto con adaptadores LoRA si se utiliza entrenamiento QLoRA. El paquete también incluye una configuración de tokenizador optimizada para los datos específicos, scripts de inferencia en Python, puntos finales de API y un contenedor Docker para facilitar el despliegue.

La validación y la documentación son parte de la oferta estándar. La empresa dice que los clientes reciben un informe de entrenamiento que incluye curvas de pérdida y métricas, así como una validación de precisión realizada en un conjunto de pruebas proporcionado por el cliente. Se incluyen salidas de ejemplo para demostrar el comportamiento aprendido. Además, el paquete contiene documentación de hiperparámetros, como detalles sobre la tasa de aprendizaje y el tamaño del lote, y una guía de integración de API para la aplicación del cliente.

Precios y Niveles de Inversión

Hutton Tech Solutions estructura sus servicios en tres niveles de inversión, cada uno con una tarifa de proyecto única que incluye entrenamiento, validación y soporte de despliegue. El nivel Starter tiene un precio de $3,000. Esta opción admite ajuste fino a pequeña escala para modelos de hasta 13B parámetros, como Llama 3 8B o Mistral 7B. Permite una ventana de contexto de 50k tokens durante el entrenamiento y maneja de 10 a 20 documentos en formatos PDF, Word o texto. La empresa afirma que este nivel utiliza el método de ajuste fino QLoRA y ofrece un tiempo de entrega de 3-5 días.

El nivel Professional tiene un precio de $7,500 y se describe como entrenamiento de grado empresarial. Este nivel admite modelos de hasta 70B parámetros, incluyendo Llama 3 70B o modelos personalizados, con una ventana de contexto de más de 100k tokens. Acomoda más de 50 documentos con páginas ilimitadas y ofrece la opción entre ajuste fino completo o QLoRA. La empresa dice que este nivel incluye pruebas exhaustivas de precisión utilizando MMLU y evaluaciones personalizadas, junto con un tiempo de entrega de 48-72 horas. También proporciona dos semanas de soporte posterior al lanzamiento para corrección de errores y ajuste.

El nivel Enterprise tiene precios personalizados y está diseñado para la máxima capacidad. Admite modelos de más de 70B parámetros con capacidad de ventana de contexto ilimitada y documentos ilimitados, permitiendo entrenamiento en múltiples dominios. La empresa afirma que este nivel incluye procesamiento prioritario con un tiempo de entrega de 24-48 horas, marcos de evaluación personalizados y soporte de API de grado de producción con balanceo de carga. También cuenta con un período de optimización de 90 días, que incluye reentrenamiento si es necesario, y un canal de soporte dedicado a través de Slack o Discord.

Industrias Objetivo y Enfoque Técnico

Hutton Tech Solutions identifica varios sectores que pueden beneficiarse de su ajuste fino de contexto largo. La empresa enumera firmas legales, señalando que el servicio puede entrenarse con jurisprudencia, contratos y precedentes para comprender los matices jurisdiccionales. Para la investigación médica, la empresa dice que el servicio puede ingerir ensayos clínicos, artículos de investigación y datos de pacientes, con un entrenamiento que cumple con HIPAA. El servicio también se comercializa para el conocimiento empresarial, con el objetivo de consolidar la documentación, políticas y conocimiento institucional de una empresa en un solo sistema de IA.

La empresa destaca su enfoque técnico como un diferenciador. Afirma que la mayoría de los proveedores limitan las ventanas de contexto a 8k-32k tokens, lo que obliga a fragmentar los datos y provoca la pérdida de conexiones. En contraste, Hutton Tech Solutions entrena con más de 100k tokens a la vez. La empresa también señala que utiliza QLoRA en modelos de 70B, lo que permite el ajuste fino de modelos masivos que típicamente requieren clusters de nube costosos, pero a una fracción del costo. La empresa enfatiza que su infraestructura completa el entrenamiento en 48-72 horas, en contraste con las semanas que a menudo requieren los competidores.

Para comenzar un proyecto, la empresa requiere documentos como PDFs, documentos de Word o archivos de texto, que maneja durante el preprocesamiento. Los clientes también deben definir los objetivos de entrenamiento y seleccionar un modelo base, como Llama 3, Mistral o un modelo personalizado. Hutton Tech Solutions es una empresa privada y no está cotizada en ninguna bolsa de valores.

Fuentes (en inglés)

• Hutton Tech Solutions: product page

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.