本文作者为华为数字能源数据中心领域首席架构师安真、费珍福、齐平川，原文刊登于期刊《暖通空调》2023年第3期。
摘要
阐述了提高送风温度对数据中心的影响。提出与过去部署大型计算机、小型计算机的机房不同，现代数据中心部署的IT设施主要为机架式服务器，该类型的服务器可以接受更高的送风温度，通过调整运行策略，对服务器性能的影响可控，对降低空调设施的初投资、降低空调能耗也有利。
关键词
送风温度；数据中心；服务器性能；电能利用效率（PUE）；制冷能效因子（CLF）
引言
数据中心的环境需要满足电子信息设备的运行要求，其中对温湿度的相关要求既要保证电子信息设备的性能和效率，同时也要兼顾节能，对数据中心的设计和运维影响重大，也是数据中心服务品质SLA（service level agreement）的重要组成。
十几年前，大多数机房空调设定值为回风温度24~25 ℃，电能利用效率PUE大多在1.8~2.0左右。随着ASHRAE标准的修订调整及GB 50174—2017《数据中心设计规范》的发布，机房温度设定值从回风温度24~25 ℃变为送风温度17~18 ℃，PUE降到了1.4~1.5左右。现在很多数据中心的送风温度已经提高到24~25 ℃，PUE也在进一步降低。这一过程中，制冷系统有了很多创新和发展，制冷方式也从过去的100%机械制冷发展到现在以自然冷却为主，风系统、水系统、氟系统百花齐放的局面。
今天，在“3060”的大背景下，对PUE的管控越来越严苛，全国一体化数据中心及大型、超大型数据中心的PUE要求降到1.3以下，绿色示范类项目对PUE的要求更是苛刻到低于1.15。在各省市的数据中心建设指导要求里，对PUE也有更多的管控要求和惩戒措施。想要进一步改善PUE，提升资源利用率，需重新审视机房的运行环境。
1、国内外相关标准均可支持更高的送风温度
GB 50174—2017《数据中心设计规范》第5.1.1条规定：主机房和辅助区内的温度、*点露**温度和相对湿度应满足电子信息设备的使用要求；当电子信息设备尚未确定时，按照附录A的要求执行。附录A中对机房运行温度的要求是送风温度18~27 ℃。目前大多数机房都是按送风温度18~27 ℃运行，这也是众多数据中心SLA的依据[1]。
欧洲ETSI EN 300 019-1-3 (2014-04)标准对电子信息设备长期运行的环境温度要求为10~35 ℃，允许有10%的时间达到35~40 ℃，允许有1%的时间达到40~45 ℃[2]。对服务器供应商来说，只有遵循更严苛的标准，满足更高的运行温度，才能支持其产品的全球销售。大多数需要拓展全球业务的机架式服务器供应商生产的服务器，普遍可以接受送风温度10~35 ℃的环境，甚至更为宽松。例如某公司的2288H V5机架式服务器可以接受的送风温度为5~40℃。
当然，也有一些大型/小型计算机设备相对高端，对环境的要求也更苛刻。例如某公司的power系列设备，其操作环境的温度要求为送风温度18~27 ℃。
过去，大型/小型计算机是数据中心需要部署的主流服务器，环境设置必须要考虑这些设备的要求，这也是GB 50174—2017《数据中心设计规范》制定的背景之一。现在，随着互联网、云计算、大数据的发展，分布式计算所采用的机架式服务器基本已经取代了大型/小型计算机。数据中心的设计和运维完全可以进一步提升服务器的运行温度，从而改善制冷方式，改善PUE。此外，接受更高的送风温度，对降低峰值用电量、提高资源利用率和降低制冷系统投资也都是非常有利的。
2、提高送风温度对服务器性能的影响可控
服务器运行环境相关标准的形成是数据中心用户和IT设备制造商达成的一致。显然，更高的进风温度会提高服务器故障率、提高服务器自身的能耗，会导致服务器性能下降、噪声增大。温度升高的同时，湿度也放宽，这种高温高湿的环境会提高腐蚀风险。因此，数据中心运行时，既要节能，也必须兼顾服务器的性能。
以故障率为例，提高服务器的运行温度，不同品牌的服务器故障率不同，按中位数水平，不同送风温度条件下的故障率因子如表1所示。故障率因子越大，故障发生的可能性越大。
表1 不同送风温度条件下的故障率因子
针对温度上升会导致服务器故障率提高的问题，可以通过全年的实时温度调节，如夏季高温送风，冬季采用偏低的送风温度，减少高温送风时长，从而减少故障率提升带来的不利影响。
以北京地区为例，如果机房空调送风温度的设定值根据气象条件实时调整，不同气象条件下的时长及对应的送风温度和故障率因子如表2所示。
表2 全年不同温度段故障率因子统计
目前，新建数据中心基于PUE政策管控要求，大多数送风温度都是20~25 ℃。按平均值22.5 ℃计算，故障率因子为1.13。
采用变送风温度时，全年平均送风温度为22.5 ℃，服务器故障因子加权平均后为1.127，与定送风温度运行的数据中心基本相同。
可见，在服务器允许的工作范围内，提高允许运行温度的同时，实时调整送风温度，能够改善对服务器的其他负面影响，进一步保证服务器的性能，提高服务器寿命。需要注意的是，服务器对温度的变化率是有要求的，使用磁带驱动时应＜5 ℃/h，使用磁盘驱动时应＜20 ℃/h，所以调整送风温度时，需要缓慢调整，避免温度波动导致数据失真或服务器受损。
3、提高送风温度对降低空调系统的初投资和运行费用有利
提高送风温度，全年实时调整送风温度，低温送风时还可加大送回风温差，以降低风扇的能耗。这种空调方案和运行策略可以带来更低的初投资和运行费用，PUE也会相应降低。
以目前新建数据中心最常用的间接蒸发冷却空调系统为例，分析不同运行策略下的空调系统。
间接蒸发冷却空调机组（AHU）是将新风蒸发冷却后得到的湿空气的冷量，通过非直接接触式换热器传递给机房的热回风，再辅以必要的过滤、补冷等措施，为机房提供满足要求的冷却送风。整个过程只有冷量的传递，没有物质的交换，不会影响机房的空气质量和湿度。该种方式实现冷源与负荷中心近距离接触，可以充分利用风侧自然冷却，显著减少数据中心空调系统能耗[4]。
间接蒸发冷却空调系统绿色节能、安装便捷、运维简单，近年来在国内数据中心的建设中得到广泛应用。图1为某厂商间接蒸发冷却机组的内部结构图。
图1 某厂商间接蒸发冷却机组内部结构图
以北京某IT机房为例进行分析，房间内部署200个标准服务器机架，单机柜功耗8 kW，采用间接蒸发冷却空调系统，存在以下几种运行策略：
方案1： 运行过程送回风温度恒定。采用间接蒸发冷却空调机组，恒定送/回风温度为22.5 ℃/35.5 ℃。
方案2： 运行过程送风温度可变，送回风温差恒定。采用间接蒸发冷却空调机组，最高送风温度为32.5 ℃，送回风温差恒定为13 ℃，全年平均送风温度为22.5 ℃。
方案3： 运行过程送风温度和送回风温差均会变化。采用间接蒸发冷却空调机组，最高送风温度为32.5 ℃，全年平均送风温度为22.5 ℃。送风温度高于25 ℃时，送回风温差为13 ℃；送风温度为17.5~25.0 ℃时，回风温度保持为38 ℃。
3种方案的指标对比见表3（按某AHU厂商选型计算）。
表3 3种方案指标对比（可比部分）
从表3对比可以看出：
1.对于机架式服务器来说，服务器的送风温度与服务器性能强相关，3种方案全年平均送风温度均为22.5 ℃，可以认为服务器性能基本一致。
2.方案2和方案3允许更高的送风温度，空调系统及支持空调的配电系统可节省投资20%（可比部分）。
3.方案1的最大用电量高于方案2和方案3，意味着同等市电资源条件下，方案2和方案3可以有更多的电力用于IT。方案2和方案3的资源利用率更优。项目不同，资源利用率提升带来的收益不同，本次比较未记录在内。
4.方案2能效优于方案1，制冷系统效率提升约15%，主要是因为允许更高的送风温度，意味着夏季大部分热量依然可以通过风-风换热器带走，机械制冷占比大幅下降。冬季即使降低送风温度，也可通过自然冷却实现制冷，能耗增加有限。
5.方案3和方案2的机械制冷占比相同，但方案3能效更优。这是因为方案3在送风温度25 ℃以下时加大了送回风温差，此时送风量减少，变频风机的能耗也大幅下降。当然，该方案对自控系统和服务器的允许送回风温差会有一定要求。
总之，提高允许的送风温度，但并不是全年都运行在这种高温环境下，对数据中心的运行是非常有利的。气象条件炎热时，机房可以允许稍高一点的送风温度，而不是把27 ℃作为报警临界点。气象条件寒冷时，可以适当降低送风温度设定值，让运行环境更有利于保障服务器的性能。如果能够在较低送风温度条件下加大送回风温差，就可以在较长的时间里减少空调送风量，达到降低风机能耗的目的，实现更低的PUE。
4、结论
现代数据中心主流服务器已经从大型/小型计算机变成机架式服务器，而机架式服务器对环境的要求已经变得更加宽泛。GB 50174—2017《数据中心设计规范》第5.1.1条规定：主机房安置的服务器有明确要求时，应执行服务器的送风温度要求。只有当电子信息设备尚未确定时，才会按照附录A的要求即送风温度18~27 ℃执行。对于机架式服务器而言，普遍的环境要求是送风温度10~35 ℃，甚至更为宽松。鉴于此，对于安置机架式服务器的数据中心而言，只要满足服务器的要求，送风温度即使突破18~27 ℃的要求，也不会与现行的数据中心设计规范有冲突。
为了兼顾节能与服务器性能，保障IT设备能够拥有一个正常运行的物理环境， 数据中心的空调系统配置建议如下：
1.所选空调系统，其送风温湿度设定点可根据运行条件进行实时调整，设定点可以手动或自动设置，可以借助AI等智能化手段。
2.对于安置机架式服务器的IT机房，可以接受短期运行环境温度升高，例如炎热气象条件下，空调出风温度设定点调整到32~35 ℃。寒冷气象条件下，则降低空调送风温度。
3.温度设定值调整时应缓慢变化，满足服务器对温度变化率的要求。
4.机房部署大型/小型计算机时，应满足设备制造商对运行环境的要求。或执行现行设计规范，即送风温度18~27 ℃的要求。