Hermes Vector

Português ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions Oferece Inferência de IA Privada Local

A Hutton Tech Solutions fornece infraestrutura de inferência de IA privada em Kamloops, permitindo que as empresas processem dados sensíveis localmente sem enviá-los para provedores de nuvem.

Por Hermes Vector · Read in English

Ilustração: Hutton Tech Solutions Oferece Inferência de IA Privada Local

Em resumo

  • A empresa afirma que a inferência de IA privada é executada em hardware dedicado em Kamloops, garantindo que os dados nunca saiam do Canadá ou cruzem fronteiras internacionais.
  • De acordo com a Hutton Tech Solutions, a infraestrutura está em conformidade com HIPAA, SOC2 e PIPEDA, abordando preocupações regulatórias para os setores de saúde, jurídico e financeiro.
  • A empresa afirma que o serviço utiliza uma API compatível com OpenAI, permitindo que o software existente se conecte alterando apenas a URL do endpoint.

A Hutton Tech Solutions lançou um serviço focado em inferência de IA privada, projetado especificamente para empresas em Kamloops que exigem soberania de dados rigorosa e conformidade regulatória. A empresa afirma que os serviços tradicionais de IA em nuvem, como os da OpenAI ou Claude, envolvem o envio de informações sensíveis para servidores em jurisdições estrangeiras, que podem estar sujeitas a leis como a CLOUD Act e serem usadas para o treinamento de modelos. Em contraste, a Hutton Tech Solutions oferece uma alternativa local onde os dados permanecem sob o controle da empresa.

O que o Serviço Oferece

A inferência de IA privada, conforme descrita pela empresa, envolve a execução de modelos de IA em hardware dedicado controlado pelo cliente. Essa infraestrutura está fisicamente localizada em Kamloops, garantindo que os dados nunca saiam do prédio ou cruzem fronteiras internacionais. A empresa afirma que essa abordagem elimina o registro de logs, ou seja, nenhuma consulta ou resposta é armazenada, e impede que os dados sejam usados para treinar outros modelos. Essa configuração é apresentada como uma solução para indústrias onde a privacidade de dados é crítica, incluindo saúde, direito, serviços financeiros e setores governamentais.

A tecnologia depende de sistemas NVIDIA DGX de nível empresarial. De acordo com a empresa, esses sistemas possuem 192GB de memória unificada, GPUs com arquitetura Grace Blackwell e rede de alta velocidade com latência de sub-milissegundo. A infraestrutura foi projetada para suportar modelos grandes, como o Llama 3 com até 405B de parâmetros, sem os limites de taxa frequentemente associados aos serviços em nuvem. A empresa observa que essa configuração local pode oferecer tempos de resposta mais rápidos para consultas simples, tipicamente entre 50-200ms, em comparação com serviços em nuvem que podem ter latência base mais alta devido ao deslocamento na rede.

Para Quem É

A empresa identifica vários setores-chave que se beneficiam dessa infraestrutura local. Para provedores de saúde, a Hutton Tech Solutions afirma que o serviço permite a análise de registros de pacientes e a geração de resumos clínicos sem violar a HIPAA ou as leis provinciais de saúde. No setor jurídico, o serviço é posicionado para ajudar escritórios a manterem o privilégio advogado-cliente, evitando os riscos associados ao envio de comunicações privilegiadas para serviços de nuvem de terceiros. Instituições financeiras e entidades governamentais também são citadas como usuários principais, pois estão sujeitas a rigorosas regulamentações de proteção de dados que proíbem o envio de informações de clientes para nuvens de terceiros.

A empresa fornece um estudo de caso de uma clínica médica em Kamloops que implementou essa solução. De acordo com a Hutton Tech Solutions, a clínica utilizou uma GPU NVIDIA Blackwell dedicada com um modelo Llama 3 70B ajustado para auxiliar na documentação clínica. A empresa afirma que isso resultou em uma redução de 90% no tempo de documentação e em uma economia mensal de $15,000 em comparação com a contratação de escribas médicos, mantendo 100% de conformidade com a HIPAA.

Preços e Implementação

A Hutton Tech Solutions oferece um modelo de assinatura mensal para infraestrutura dedicada. A empresa afirma que as assinaturas mensais começam em $2,000 por mês, sem necessidade de contratos de longo prazo. Esse custo inclui uso ilimitado, sem limites de taxa e suporte completo à conformidade. A empresa compara isso aos custos em nuvem, observando que para empresas que processam três milhões ou mais de tokens por dia, a IA privada pode ser mais econômica do que serviços em nuvem como o OpenAI GPT-4, que a empresa estima custaria $10,800 anualmente para volume semelhante.

A implementação geralmente leva de duas a quatro semanas. O processo começa com uma avaliação dos casos de uso e das necessidades de conformidade, seguida pela implantação do hardware e configuração da segurança VPN. A empresa afirma que a API é compatível com OpenAI, o que significa que aplicativos existentes podem se conectar à infraestrutura privada simplesmente alterando a URL do endpoint. A Hutton Tech Solutions cuida de todas as atualizações de modelos, manutenção e otimização, garantindo que os clientes tenham acesso às mais recentes capacidades de IA sem gerenciar a tecnologia subjacente.

A Hutton Tech Solutions é uma empresa privada e não está listada em nenhuma bolsa de valores.


Fontes (em inglês)

Tradução feita com IA do artigo original em inglês, revisada automaticamente para dizer o mesmo que o original. As fontes foram verificadas em inglês.

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions Oferece Inferência de IA Privada Local | Hermes Vector