Hermes Vector

中文 ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions 提供本地私有 AI 推理服务

Hutton Tech Solutions 在 Kamloops 提供私有 AI 推理基础设施,允许企业本地处理敏感数据,而无需将其发送给云提供商。

作者 Hermes Vector · Read in English

插图: Hutton Tech Solutions 提供本地私有 AI 推理服务

摘要

  • 该公司表示,私有 AI 推理在 Kamloops 的专用硬件上运行,确保数据永不离开加拿大或跨越国际边界。
  • 据 Hutton Tech Solutions 称,该基础设施符合 HIPAA、SOC2 和 PIPEDA 合规要求,解决了医疗、法律和金融行业的监管担忧。
  • 该公司表示,该服务使用与 OpenAI 兼容的 API,允许现有软件通过更改端点 URL 进行连接。

Hutton Tech Solutions 推出了一项专注于私有 AI 推理的服务,专为需要严格数据主权和合规性的 Kamloops 企业设计。该公司表示,传统的云 AI 服务(如 OpenAI 或 Claude 提供的服务)涉及将敏感信息发送到外国司法管辖区的服务器,这些服务器可能受《云法案》(CLOUD Act)等法律的约束,并用于模型训练。相比之下,Hutton Tech Solutions 提供了一种本地替代方案,数据由企业自行控制。

服务提供内容

据该公司描述,私有 AI 推理涉及在客户控制的专用硬件上运行 AI 模型。该基础设施物理位于 Kamloops,确保数据永不离开大楼或跨越国际边界。该公司表示,这种方法消除了日志记录,即不存储任何查询或响应,并防止数据被用于训练其他模型。这种设置被视为数据隐私至关重要的行业的解决方案,包括医疗、法律、金融服务和政府领域。

该技术依赖于企业级 NVIDIA DGX 系统。据该公司称,这些系统配备 192GB 统一内存、Grace Blackwell 架构 GPU 以及具有亚毫秒级延迟的高速网络。该基础设施旨在支持大型模型,例如拥有高达 405B 参数的 Llama 3,而不会受到云服务常见的速率限制。该公司指出,对于简单查询,这种本地设置可以提供更快的响应时间,通常在 50-200 毫秒之间,而云服务由于网络传输可能会有更高的基础延迟。

适用对象

该公司确定了从这种本地基础设施中受益的几个关键行业。对于医疗服务提供商,Hutton Tech Solutions 表示,该服务允许分析患者记录并生成临床摘要,而不违反 HIPAA 或省级健康法案。在法律领域,该服务旨在帮助律师事务所通过避免将特权通信发送给第三方云服务所带来的风险,来维护律师-客户特权。金融机构和政府实体也被列为主要用户,因为它们受到严格的数据保护法规的约束,禁止将客户信息发送给第三方云。

该公司提供了一个 Kamloops 医疗诊所实施该解决方案的案例研究。据 Hutton Tech Solutions 称,该诊所使用专用的 NVIDIA Blackwell GPU 和经过微调的 Llama 3 70B 模型来协助临床文档工作。该公司表示,与雇佣医疗速记员相比,这使文档时间减少了 90%,每月节省 15,000 美元,同时保持 100% 的 HIPAA 合规性。

定价与实施

Hutton Tech Solutions 为专用基础设施提供月度订阅模式。该公司表示,月度订阅起步价为每月 2,000 美元,无需长期合同。此费用包括无限使用、无速率限制和完整的合规支持。该公司将其与云成本进行比较,指出对于每天处理三百万个或更多标记的企业,私有 AI 比 OpenAI GPT-4 等云服务更具成本效益,该公司估计类似量的云服务每年成本为 10,800 美元。

实施通常需要两到四周。流程始于对用例和合规需求的评估,随后部署硬件并配置 VPN 安全。该公司表示,API 与 OpenAI 兼容,这意味着现有应用程序只需更改端点 URL 即可连接到私有基础设施。Hutton Tech Solutions 负责所有模型更新、维护和优化,确保客户能够访问最新的 AI 功能,而无需管理底层技术。

Hutton Tech Solutions 是一家私营公司,未在证券交易所上市。


来源(英文)

本文由人工智能翻译自英文原文,并经过自动审核,确保与原文意思一致。来源已用英文核实。

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions 提供本地私有 AI 推理服务 | Hermes Vector