Hutton Tech Solutions 提供 NVIDIA Grace Blackwell 人工智能基础设施

Hutton Tech Solutions 提供由 NVIDIA Grace Blackwell 架构驱动的企业级人工智能基础设施。据该公司称，该系统旨在通过将 CPU 和 GPU 组件集成到单一统一内存环境中，来解决人工智能工作负载中的性能瓶颈。该服务定位为需要高性能计算能力以进行大规模模型训练和实时推理的组织。

架构与性能

该产品的核心是 Grace Blackwell 架构，Hutton Tech Solutions 将其描述为人工智能工作负载的革命性设计。该公司表示，该系统采用统一内存系统，CPU 和 GPU 共享同一内存空间。这种配置允许零拷贝数据传输，该公司称这完全消除了 PCIe 瓶颈。

在速度和容量方面，Hutton Tech Solutions 报告称，该架构提供 900GB/s 的内存带宽。该公司声称这比传统架构快七倍。该系统设计用于处理超过 120GB 的数据集，而无需进行数据交换。此外，该公司表示，该基础设施支持对拥有 700 亿或更多参数的模型进行微调。

该架构还包括先进的量化功能。Hutton Tech Solutions 指出，系统支持 FP4 精度以实现最大效率，以及包括 FP4、FP8 和 FP16 在内的混合精度训练选项。该公司表示，这些功能可实现最佳精度和速度。包括硬件加速的 INT4 和 INT8 支持，该公司称这能够实现原生整数量化且零精度损失，即使在压缩情况下也能保持模型质量。

安全与合规

Hutton Tech Solutions 强调对敏感工作负载的安全性。该公司表示，其基础设施是 100% 私有的，确保客户数据永远不会离开 Kamloops（卡姆卢普斯）。这为所有托管应用提供了完全的物理和逻辑隔离。

在数据保护方面，Hutton Tech Solutions 表示，系统采用 AES-256 加密对静态数据进行加密，并采用 TLS 1.3 加密对传输中的数据进行加密。该公司将其描述为整个基础设施中的军事级加密。该服务也被描述为符合合规性要求，该公司表示其符合 HIPAA、SOC2 和 GDPR 标准。包括完整的审计跟踪和文档，以支持这些合规性要求。

用例

该公司确定了该基础设施的几种理想应用场景。Hutton Tech Solutions 表示，该系统适用于大型模型微调，特别是针对在专有数据上训练的自定义大型语言模型。统一内存允许在此过程中处理大型数据集。

对于实时推理，该公司表示，该基础设施提供亚毫秒级延迟，使其适用于高频交易和实时应用等生产工作负载。该系统可以同时运行多个模型而不会导致性能下降，该公司称这非常适合 A/B 测试场景。

此外，Hutton Tech Solutions 指出，该基础设施支持研发活动。该公司表示，120GB+ 的内存容量能够处理最大的研究数据集，使研究人员能够尝试前沿架构。

Hutton Tech Solutions 邀请潜在客户安排演示，以查看基础设施计划。该公司表示，这允许用户在承诺服务计划之前亲眼目睹 Grace Blackwell 架构的实际运行效果。

来源（英文）

• Hutton Tech Solutions: product page

本文由人工智能翻译自英文原文，并经过自动审核，确保与原文意思一致。来源已用英文核实。