Hutton Tech Solutions ofrece infraestructura de IA NVIDIA Grace Blackwell

Hutton Tech Solutions proporciona infraestructura de inteligencia artificial de grado empresarial impulsada por la arquitectura NVIDIA Grace Blackwell. Según la empresa, este sistema está diseñado para abordar los cuellos de botella de rendimiento en las cargas de trabajo de IA al integrar componentes de CPU y GPU en un único entorno de memoria unificada. El servicio está posicionado para organizaciones que requieren capacidades de computación de alto rendimiento para el entrenamiento de modelos a gran escala y la inferencia en tiempo real.

Arquitectura y rendimiento

El núcleo de la oferta es la arquitectura Grace Blackwell, que Hutton Tech Solutions describe como un diseño revolucionario para las cargas de trabajo de IA. La empresa afirma que el sistema utiliza un sistema de memoria unificada donde la CPU y la GPU comparten el mismo espacio de memoria. Esta configuración permite la transferencia de datos zero-copy, lo que, según la empresa, elimina completamente los cuellos de botella de PCIe.

En términos de velocidad y capacidad, Hutton Tech Solutions informa que la arquitectura ofrece 900GB/s de ancho de banda de memoria. La empresa afirma que esto es siete veces más rápido que las arquitecturas tradicionales. El sistema está diseñado para manejar conjuntos de datos superiores a 120GB sin requerir el intercambio de datos (swapping). Además, la empresa afirma que la infraestructura admite el ajuste fino (fine-tuning) de modelos con 70 mil millones o más de parámetros.

La arquitectura también incluye funciones avanzadas de cuantización. Hutton Tech Solutions señala que el sistema admite la precisión FP4 para una máxima eficiencia, junto con opciones de entrenamiento de precisión mixta que incluyen FP4, FP8 y FP16. La empresa afirma que estas funciones permiten una precisión y velocidad óptimas. Se incluye el soporte acelerado por hardware para INT4 e INT8, lo que, según la empresa, permite la cuantización de enteros nativa con cero pérdida de precisión, manteniendo la calidad del modelo incluso con compresión.

Seguridad y cumplimiento

Hutton Tech Solutions enfatiza la seguridad para las cargas de trabajo sensibles. La empresa afirma que su infraestructura es 100% privada, garantizando que los datos del cliente nunca salgan de Kamloops. Esto proporciona un aislamiento físico y lógico completo para todas las aplicaciones alojadas.

Con respecto a la protección de datos, Hutton Tech Solutions dice que el sistema emplea el cifrado AES-256 para datos en reposo y el cifrado TLS 1.3 para datos en tránsito. La empresa describe esto como un cifrado de grado militar en toda la infraestructura. El servicio también se describe como listo para el cumplimiento, con la empresa afirmando que cumple con los estándares HIPAA, SOC2 y GDPR. Se incluyen pistas de auditoría completas y documentación para respaldar estos requisitos de cumplimiento.

Casos de uso

La empresa identifica varias aplicaciones ideales para esta infraestructura. Hutton Tech Solutions dice que el sistema es adecuado para el ajuste fino de modelos grandes, particularmente para modelos de lenguaje extensos personalizados entrenados con datos propietarios. La memoria unificada permite el manejo de grandes conjuntos de datos durante este proceso.

Para la inferencia en tiempo real, la empresa afirma que la infraestructura proporciona una latencia de sub-milisegundos, lo que la hace adecuada para cargas de trabajo de producción como el trading de alta frecuencia y aplicaciones en vivo. El sistema también puede ejecutar múltiples modelos simultáneamente sin degradación del rendimiento, lo que la empresa dice que es ideal para escenarios de pruebas A/B.

Además, Hutton Tech Solutions señala que la infraestructura admite actividades de investigación y desarrollo. La empresa afirma que la capacidad de memoria de más de 120GB es capaz de manejar los conjuntos de datos de investigación más grandes, permitiendo a los investigadores experimentar con arquitecturas de vanguardia.

Hutton Tech Solutions invita a los clientes potenciales a programar una demostración para ver los planes de infraestructura. La empresa afirma que esto permite a los usuarios ver la arquitectura Grace Blackwell en acción antes de comprometerse con un plan de servicio.

Fuentes (en inglés)

• Hutton Tech Solutions: product page

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.