Hermes Vector

Español ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions ofrece inferencia de IA privada local

Hutton Tech Solutions proporciona infraestructura de inferencia de IA privada en Kamloops, permitiendo que las empresas procesen datos sensibles localmente sin enviarlos a proveedores de la nube.

Por Hermes Vector · Read in English

Ilustración: Hutton Tech Solutions ofrece inferencia de IA privada local

En breve

  • La empresa afirma que la inferencia de IA privada se ejecuta en hardware dedicado en Kamloops, asegurando que los datos nunca salgan de Canadá ni crucen fronteras internacionales.
  • Según Hutton Tech Solutions, la infraestructura cumple con HIPAA, SOC2 y PIPEDA, abordando las preocupaciones regulatorias para los sectores de salud, legal y financiero.
  • La empresa afirma que el servicio utiliza una API compatible con OpenAI, lo que permite que el software existente se conecte simplemente cambiando la URL del endpoint.

Hutton Tech Solutions ha presentado un servicio enfocado en la inferencia de IA privada, diseñado específicamente para empresas en Kamloops que requieren una estricta soberanía de datos y cumplimiento regulatorio. La empresa afirma que los servicios de IA en la nube tradicionales, como los de OpenAI o Claude, implican el envío de información sensible a servidores en jurisdicciones extranjeras, que pueden estar sujetos a leyes como la CLOUD Act y ser utilizados para el entrenamiento de modelos. En contraste, Hutton Tech Solutions ofrece una alternativa local donde los datos permanecen bajo el control de la empresa.

Qué ofrece el servicio

La inferencia de IA privada, según la descripción de la empresa, implica la ejecución de modelos de IA en hardware dedicado que el cliente controla. Esta infraestructura está ubicada físicamente en Kamloops, asegurando que los datos nunca salgan del edificio ni crucen fronteras internacionales. La empresa afirma que este enfoque elimina el registro de actividad (logging), lo que significa que no se almacenan consultas ni respuestas, y evita que los datos se utilicen para entrenar otros modelos. Esta configuración se presenta como una solución para industrias donde la privacidad de los datos es crítica, incluyendo los sectores de salud, legal, servicios financieros y gubernamentales.

La tecnología se basa en sistemas NVIDIA DGX de grado empresarial. Según la empresa, estos sistemas cuentan con 192GB de memoria unificada, GPUs de arquitectura Grace Blackwell y redes de alta velocidad con latencia de sub-milisegundos. La infraestructura está diseñada para soportar modelos grandes, como Llama 3 con hasta 405B de parámetros, sin los límites de tasa que suelen asociarse con los servicios en la nube. La empresa señala que esta configuración local puede ofrecer tiempos de respuesta más rápidos para consultas simples, típicamente entre 50-200ms, en comparación con los servicios en la nube que pueden tener una latencia base más alta debido al tránsito por la red.

Para quién es

La empresa identifica varios sectores clave que se benefician de esta infraestructura local. Para los proveedores de atención médica, Hutton Tech Solutions afirma que el servicio permite el análisis de registros de pacientes y la generación de resúmenes clínicos sin violar HIPAA o las leyes de salud provinciales. En el sector legal, el servicio está posicionado para ayudar a las firmas a mantener el privilegio abogado-cliente al evitar los riesgos asociados con el envío de comunicaciones privilegiadas a servicios de nube de terceros. Las instituciones financieras y las entidades gubernamentales también se mencionan como usuarios principales, ya que están sujetas a estrictas regulaciones de protección de datos que prohíben el envío de información de clientes a nubes de terceros.

La empresa proporciona un caso de estudio de una clínica médica en Kamloops que implementó esta solución. Según Hutton Tech Solutions, la clínica utilizó una GPU NVIDIA Blackwell dedicada con un modelo Llama 3 70B ajustado (fine-tuned) para asistir con la documentación clínica. La empresa afirma que esto resultó en una reducción del 90% en el tiempo de documentación y un ahorro de $15,000 mensuales en comparación con la contratación de escribas médicos, manteniendo un cumplimiento de HIPAA del 100%.

Precios e implementación

Hutton Tech Solutions ofrece un modelo de suscripción mensual para infraestructura dedicada. La empresa afirma que las suscripciones mensuales comienzan en $2,000 por mes, sin necesidad de contratos a largo plazo. Este costo incluye uso ilimitado, sin límites de tasa y soporte de cumplimiento completo. La empresa compara esto con los costos de la nube, señalando que para las empresas que procesan tres millones o más de tokens por día, la IA privada puede ser más rentable que los servicios en la nube como OpenAI GPT-4, que la empresa estima que costaría $10,800 anualmente para un volumen similar.

La implementación suele tardar entre dos y cuatro semanas. El proceso comienza con una evaluación de los casos de uso y las necesidades de cumplimiento, seguida del despliegue del hardware y la configuración de la seguridad VPN. La empresa afirma que la API es compatible con OpenAI, lo que significa que las aplicaciones existentes pueden conectarse a la infraestructura privada simplemente cambiando la URL del endpoint. Hutton Tech Solutions se encarga de todas las actualizaciones de modelos, mantenimiento y optimización, asegurando que los clientes tengan acceso a las capacidades de IA más recientes sin gestionar la tecnología subyacente.

Hutton Tech Solutions es una empresa privada y no cotiza en ninguna bolsa de valores.


Fuentes (en inglés)

Traducción con IA del artículo original en inglés, revisada automáticamente para que diga lo mismo que el original. Las fuentes fueron verificadas en inglés.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions ofrece inferencia de IA privada local | Hermes Vector