Hermes Vector

中文 ·

Sponsored content from Hutton Tech Solutions.

Hutton Tech Solutions 提供基于 NVIDIA DGX Spark 的私有人工智能基础设施

Hutton Tech Solutions 在 Kamloops 提供 NVIDIA DGX Spark 系统,用于大语言模型的本地微调,确保企业客户的数据主权和合规性。

作者 Hermes Vector · Read in English

摘要

  • Hutton Tech Solutions 表示,其 NVIDIA DGX Spark 系统采用 NVIDIA Grace Blackwell 架构,支持在本地对 70B+ 参数模型进行微调。
  • 该公司称,该基础设施包括 120GB+ 的统一内存,并支持 FP4、FP8 和 FP16 精度,以实现灵活的量化。
  • 据该公司介绍,这些系统专为在 Kamloops 100% 本地部署而设计,通过 VPN 安全访问,确保数据永不离开安全基础设施。
  • Hutton Tech Solutions 指出,该基础设施符合 HIPAA 和 SOC2 合规标准,面向医疗保健、法律、国防和研究等行业。

Hutton Tech Solutions 通过其 NVIDIA DGX Spark 系统提供企业级人工智能基础设施。该公司将这些系统定位为一种解决方案,供需要私有人工智能能力但又不愿承担基于云的企业解决方案通常高昂成本的组织使用。据该公司介绍,这些系统提供了在 Kamloops 设施内本地微调具有 70B+ 参数的大语言模型所需的计算能力。

技术规格与性能

NVIDIA DGX Spark 系统基于 NVIDIA Grace Blackwell 架构构建,该公司将其描述为最新一代的人工智能优化 GPU 设计。Hutton Tech Solutions 表示,这些系统配备 120GB+ 的统一内存,使其能够在没有内存限制的情况下处理海量数据集。硬件支持 FP4、FP8 和 FP16 精度,为最佳性能提供灵活的量化选项。

该公司称,该基础设施旨在实现亚毫秒级延迟,从而支持生产工作负载的实时推理。在模型容量方面,Hutton Tech Solutions 指出,这些系统可以对 Llama 3 70B、Mixtral 和 DeepSeek 等模型以及更大的变体进行微调。这些系统还支持 120GB+ 的数据集支持,用于在本地对海量专有数据集进行训练,并允许进行多模型部署以同时运行多个模型。此外,该公司表示,该硬件提供批处理能力,以实现高吞吐量推理。

数据主权与安全

该产品的一个核心功能是数据主权。Hutton Tech Solutions 强调,客户数据永远不会离开其安全基础设施。该公司将部署描述为 100% 本地部署,这意味着没有云依赖,计算资源保留在 Kamloops,并拥有完全的物理控制权。为了确保安全,该公司通过专用 VPN 隧道提供 VPN 安全访问,确保数据不接触公共互联网。

关于合规性,Hutton Tech Solutions 表示,该基础设施符合医疗保健和金融领域的严格合规要求,特别引用了 HIPAA 和 SOC2 合规性。该公司称,这使得该基础设施适合处理对隐私和监管遵从性至关重要的敏感信息。

目标行业与应用

Hutton Tech Solutions 确定了几个可能从这种私有人工智能基础设施中受益的行业。对于医疗保健和医学研究,该公司表示,这些系统允许在患者数据上训练人工智能模型,而不会违反 HIPAA 规定,支持医学成像、诊断辅助和临床研究等应用。对于法律和金融服务业,该公司指出,该基础设施非常适合处理机密文件和交易,完全保护隐私,例如在合同分析和欺诈检测中。

该公司还强调了国防和政府领域,表示这些系统可以处理分类数据,并提供空气隔离部署选项,以满足敏感操作的严格安全要求。对于研究机构,Hutton Tech Solutions 表示,该基础设施适合在专有研究数据上训练大型模型,其 120GB+ 的容量可以处理庞大的学术数据集。

Hutton Tech Solutions 是一家私营公司,未在任何一个证券交易所上市。该公司邀请各组织安排咨询,讨论其基础设施需求并查看私有推理计划。


来源(英文)

本文由人工智能翻译自英文原文,并经过自动审核,确保与原文意思一致。来源已用英文核实。

How do you feel about this story?

Comments 0

No comments yet. Start the discussion.

Hutton Tech Solutions 提供基于 NVIDIA DGX Spark 的私有人工智能基础设施 | Hermes Vector