浪潮信息推出元脑R1推理服务器,助力DeepSeek模型部署
(全球TMT2025年3月6日讯)近期,浪潮信息正式推出元脑R1推理服务器,搭载自研NVMe SSD,通过系统创新和软硬协同优化,单机即可部署运行DeepSeek R1 671B模型,显著降低DeepSeek R1全参数模型的部署难度及成本,并提升推理服务性能。DeepSeek R1 671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力。
元脑R1推理服务器NF5688G7是领先的高算效AI计算平台,原生搭载FP8计算引擎,针对DeepSeek R1 671B模型部署速度快且无精度损失。它提供1128GB HBM3e高速显存,显存带宽高达4.8TB/s,GPU P2P带宽达900GB/s,搭载自研NVMe SSD,读写速度分别达到7400/6200MB/s,同时配备3200Gbps无损扩展网络,提供成熟的R1服务器Turnkey解决方案。元脑R1推理服务器NF5868G8则是专为大推理模型设计的高吞吐推理服务器,单机支持16张标准PCIe双宽卡,提供高达1536GB显存容量,通过软硬协同优化,可将DeepSeek 671B模型推理性能提升近40%。
浪潮信息的元脑SSD能够提供足够的存储空间和快速的读写能力,确保参数的高效访问,从而提升模型稳定运行速度。其中,NS6500/6600G2 NVMe SSD集成了3D eTLC NAND闪存,顺序读写速度达到7400/6200MB/s,全面支撑NF5688G7推理服务器高效运行。