Hutton Tech Solutions 提供私有 AI 推理服务

它是什么

Hutton Tech Solutions 将其核心产品描述为旨在将数据保留在客户控制之下的私有 AI 推理服务。该公司表示，该服务允许组织运行 AI 模型，而无需将数据发送到 OpenAI 等公共提供商。根据 Hutton Tech Solutions 的说法，该基础设施是专用且加固的，确保工作负载绝不与其他任何人共享计算资源。该公司强调，这种设置完全消除了多租户风险。

安全与合规

该公司强调其私有节点采用零妥协的安全方法。Hutton Tech Solutions 表示，它实施了零日志策略，意味着不存储任何查询或响应数据。该公司表示，所有传输中的数据均通过 TLS 1.3 进行保护，而静态数据则使用 AES-256 进行加密。根据该公司的规格，该基础设施已准备好符合包括 HIPAA、SOC2 和 GDPR 在内的主要标准。月度安全报告和审计日志包含在服务中。

目标行业

Hutton Tech Solutions 确定了由于数据敏感性而公共 AI 服务不可行的特定行业。该公司表示，国防和政府实体需要能够处理 ITAR、FedRAMP 和机密数据的解决方案。金融服务客户需要满足 PCI-DSS 和 SOX 合规要求的基础设施。根据该公司的说法，医疗保健组织利用该服务以在 HIPAA 法规下维护患者隐私。该公司还指出，成人行业需要类似的内容审核隐私保护。

定价与层级

Hutton Tech Solutions 提供三个不同的定价层级，具体取决于所需的隔离级别和支持程度。专用（Dedicated）层级的价格为每月 2,000 美元，包括一个单租户节点，支持高达 70B 参数的模型。高级（Premium）层级每月收费 3,500 美元，增加了多模型部署功能以及自定义安全策略。根据该公司的说法，主权（Sovereign）层级每月收费 6,000 美元，提供物理隔离部署选项或本地安装。该公司表示，主权层级还包括法律赔偿和可协商的自定义 SLA 条款。

可用模型与访问

客户可以选择各种预安装的 AI 模型，包括 Llama 3 的 8B、70B 和 405B 变体，以及 Mistral/Mixtral 和 DeepSeek Coder。Hutton Tech Solutions 表示，该基础设施支持多种推理引擎，如用于高吞吐量的 vLLM 和用于低延迟的 TensorRT-LLM。该公司表示，访问是通过使用 WireGuard 或 OpenVPN 的私有 VPN 隧道提供的，并附带静态 IP 地址。根据该公司的说法，用户将获得基于密钥认证的 SSH 访问权限以及兼容 OpenAI 的 REST API。

---

来源（英文）

• Hutton Tech Solutions: product page

本文由人工智能翻译自英文原文，并经过自动审核，确保与原文意思一致。来源已用英文核实。