Hermes Vector

Español ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions ofrece infraestructura de IA privada con NVIDIA DGX Spark

Hutton Tech Solutions proporciona sistemas NVIDIA DGX Spark para el ajuste fino local de modelos de lenguaje grandes en Kamloops, garantizando la soberanía de datos y el cumplimiento normativo para clientes empresariales.

Por Hermes Vector · Read in English

En breve

  • Hutton Tech Solutions indica que sus sistemas NVIDIA DGX Spark utilizan la Arquitectura NVIDIA Grace Blackwell para admitir el ajuste fino de modelos de más de 70B de parámetros de forma local.
  • La empresa afirma que la infraestructura incluye más de 120GB de memoria unificada y admite precisión FP4, FP8 y FP16 para una cuantización flexible.
  • Según la empresa, los sistemas están diseñados para una implementación 100% in situ en Kamloops, con acceso protegido por VPN para garantizar que los datos nunca salgan de la infraestructura segura.
  • Hutton Tech Solutions señala que la infraestructura cumple con HIPAA y SOC2, dirigida a sectores como salud, legal, defensa e investigación.

Hutton Tech Solutions ofrece infraestructura de inteligencia artificial de grado empresarial a través de sus sistemas NVIDIA DGX Spark. La empresa posiciona estos sistemas como una solución para organizaciones que requieren capacidades de IA privada sin los costos típicamente asociados con soluciones empresariales basadas en la nube. Según la empresa, estos sistemas proporcionan la potencia computacional necesaria para ajustar finamente modelos de lenguaje grandes con más de 70B de parámetros localmente dentro de sus instalaciones en Kamloops.

Especificaciones técnicas y rendimiento

Los sistemas NVIDIA DGX Spark están construidos sobre la Arquitectura NVIDIA Grace Blackwell, que la empresa describe como la última generación de diseño de GPU optimizado para IA. Hutton Tech Solutions indica que estos sistemas cuentan con más de 120GB de memoria unificada, lo que les permite manejar conjuntos de datos masivos sin restricciones de memoria. El hardware admite precisión FP4, FP8 y FP16, proporcionando opciones de cuantización flexibles para un rendimiento óptimo.

La empresa afirma que la infraestructura está diseñada para una latencia de submilisegundo, lo que habilita la inferencia en tiempo real para cargas de trabajo de producción. En términos de capacidad de modelos, Hutton Tech Solutions señala que los sistemas pueden ajustar finamente modelos como Llama 3 70B, Mixtral y DeepSeek, así como variantes más grandes. Los sistemas también admiten conjuntos de datos de más de 120GB para entrenar conjuntos de datos propietarios masivos localmente y permiten el despliegue de múltiples modelos para ejecutar varios modelos simultáneamente. Además, la empresa afirma que el hardware ofrece capacidades de procesamiento por lotes para inferencia de alto rendimiento.

Soberanía de datos y seguridad

Una característica central de la oferta es la soberanía de datos. Hutton Tech Solutions enfatiza que los datos de los clientes nunca salen de su infraestructura segura. La empresa describe el despliegue como 100% in situ, lo que significa que no hay dependencias de la nube y el cálculo se mantiene en Kamloops con control físico total. Para garantizar la seguridad, la empresa proporciona acceso protegido por VPN a través de un túnel VPN privado, lo que asegura que los datos nunca toquen internet público.

En cuanto al cumplimiento normativo, Hutton Tech Solutions afirma que la infraestructura cumple con los estrictos requisitos de cumplimiento para salud y finanzas, citando específicamente el cumplimiento de HIPAA y SOC2. La empresa dice que esto hace que la infraestructura sea adecuada para manejar información sensible donde la privacidad y el cumplimiento regulatorio son críticos.

Sectores objetivo y aplicaciones

Hutton Tech Solutions identifica varios sectores que pueden beneficiarse de esta infraestructura de IA privada. Para la salud y la investigación médica, la empresa afirma que los sistemas permiten el entrenamiento de modelos de IA en datos de pacientes sin violaciones de HIPAA, apoyando aplicaciones en imagen médica, asistencia en diagnóstico e investigación clínica. Para servicios legales y financieros, la empresa señala que la infraestructura es ideal para procesar documentos confidenciales y transacciones con privacidad completa, como en el análisis de contratos y la detección de fraude.

La empresa también destaca los sectores de defensa y gobierno, afirmando que los sistemas pueden manejar datos clasificados con opciones de despliegue en aire aislado (air-gapped) para cumplir con los estrictos requisitos de seguridad para operaciones sensibles. Para instituciones de investigación, Hutton Tech Solutions dice que la infraestructura es adecuada para entrenar modelos grandes en datos de investigación propietarios, con la capacidad de más de 120GB manejando conjuntos de datos académicos masivos.

Hutton Tech Solutions es una empresa privada y no está cotizada en ninguna bolsa de valores. La empresa invita a las organizaciones a programar una consulta para discutir sus requisitos de infraestructura y ver planes de inferencia privada.


Fuentes (en inglés)

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions ofrece infraestructura de IA privada con NVIDIA DGX Spark | Hermes Vector