欢迎来访江苏帕卓管路系统股份有限公司 官方网站!

您的位置 : 首页>>解决方案
解决方案

数据中心液冷管路系统解决方案

帕卓管路 2024-03-08 10:58:27 1509次 返回

行业发展背景

 截至2022年年底,全国大型及以上用数据中心机架总规模超过650万标准机架,算力总规模达到180EFLOPS(评估计算机的性能以每秒的计算次数(峰值),位居全球第二。

 当前风冷散热已趋于能力天花板,传统的空气冷却散热系统已不能完全满足数据中心服务器散热需求。液冷散热将凭借低能耗、高散热效率、低噪音等优势有望取代风冷成为主流。目前,全球高密集度、高供电密度的超大型数据中心已逐渐采用液冷技术。抛开传统的大规模数据中心不计,未来有大概20%的边缘计算数据中心也将采用液冷技术。

乐观估计2025年中国液冷数据中心市场规模将达到1330.3亿元。从政策方面来看,在“双碳”背景下,国家发改委指导政策明确要求到2025年全国新建大型、超大型数据中心PUE低于1.3,国家枢纽节点低于1.25。液冷技术在经济性与散热效率两个角度均满足市场与政策指导需求。

PUE是国际公认的数据中心能源消耗评估指标。它是数据中心损耗的所有能量与It设备损耗的能量之比。

数据中心冷却技术包含自然冷却、风冷冷却及液冷冷却等技术。液冷技术分为接触式及非接触式两种。接触式液冷是指将冷却液体与发热器件直接接触的一种液冷实现方式,包括浸没式和喷淋式液冷等具体方案。非接触式液冷是指冷却液体与发热器件不直接接触的一种液冷实现方式,包括冷板式等具体方案。总体来看,液冷技术路径主要有冷板式液冷、浸没式液冷、喷淋式液冷三大类。

冷.jpg




冷板式液冷结构

冷板.jpg





基于冷板液冷方案的一次侧系统

对于液冷二次侧末端不同的水温需求,液冷一次侧冷源可采用机械 制冷系统和自然冷却系统。

机械制冷系统包括风冷冷冻水系统和水冷冷冻水系统,可提供 12°C-18°C 的中温冷冻水;自然冷却是在室外气象条件允许的情况下,利用室外空气的冷量而不需机械制冷的冷却过程,自然冷却系统可采用开式冷却塔、闭式冷却塔和干冷器等设备实现,可提供 30°C 以上的冷却水。

液冷一次侧冷源形式需结合二次侧末端水温需求和项目地室外环境情况确定。


1.1 机械制冷系统

• 风冷冷冻水系统

风冷冷冻水系统是冷冻水制备的一种方式,主要由风冷冷水机组、冷 冻水泵及配套设施组成,其液态制冷剂在其蒸发器盘管内直接蒸发,实现对盘管外的冷冻水吸热而制冷,并通过风冷的方式冷却为液态。

风冷冷冻水系统不需要占用专门的机房且无需安装冷却塔及泵房,初期成本投入较低、运行方便,不需要专业人员维护,无冷却水系统,具备节水和降低维护费用等优点。

但风冷冷水机组一般装在室外,运维环境相对较为恶劣,维护性及可靠性均不如水冷冷水机组,并且风冷机组在夏季高温制冷效果较差,运行效率较低。

• 水冷冷冻水系统

水冷冷冻水系统是冷冻水制备的一种方式,主要由水冷冷水机组、冷冻水泵、冷却水泵、冷却塔及配套设施组成,其液态制冷剂在蒸发器盘管内直接蒸发,实现对盘管外的冷冻水吸热而制冷,并通过水冷的方式冷却为液态。

水冷冷冻水系统具有耗电量较低、全年制冷效果好、可靠性高和使用寿命长的优点。但其需要专用机房、冷却塔、冷却水泵、冷冻水泵等设备,初投资较大,并且需要循环水,水资源消耗大,且机组本体和冷却设施需要维护,相较于风冷机组,其维护费用比较高。


1.2 自然冷却系统

• 开式冷却塔

开式冷却塔经过将循环冷却水直接喷淋到冷却塔填料上,同时由风机带动冷却塔内气流流动,通过室外空气与冷却水之间的热质交换蒸发冷却循环水,冷却后的循环水在冷却塔底部出水(见图)。开式冷却塔中循环冷却水与室外空气存在热质交换。

640.png

• 闭式冷却塔

闭式冷却塔是将管式换热器置于塔内,通过室外流通的空气、喷淋水与管内的循环冷却水进行热交换而实现向大气散热的设备(见图)。

闭式冷却塔有内循环和外循环两个系统,其内循环通过与被冷却设备对接,构成一个封闭式系统,将系统热量带到冷却塔,也即内循环水通过换热盘管将热量传递到大气中;外循环由循环喷淋泵,布水系统、集水盘及管路组成,外循环水不与内循环水相接触,只是通过冷却塔内的换热器吸收内循环水的热量,然后通过和空气直接接触来散热。

6401.png

闭式冷却塔的水质较好,被冷却换热器不易结垢,寿命长,应用在室外环境质量差且对循环水质要求高的场合优势明显;但闭式冷却塔初投资和运行成本均较高,占地面积大,重量较重。

• 干冷器

干冷器即干式冷却器,其工作过程没有水的消耗,是通过管内走液体与管外走自然风来冷却管内液体,降低管内液体温度,达到冷却的目的(见图)。干冷器中的载冷剂通常使用乙二醇溶液,需要根据项目地冬季极端温度选取溶液浓度.

6402.png

干冷器没有压缩机,总体耗电量低,机组使用寿命长,初投资比风冷冷水系统和水冷冷水系统低,但其一般安装在室外,运行环境相对恶劣,且在夏季炎热散热较差的区域,需配置水喷淋冷却系统或湿帘系统增强换热,导致占地面积增大。

1.3 一次侧系统应用场景

在冷板式液冷系统中,发热器件不直接接触液体,而是通过与装有液体的冷板直接接触来散热,或者由导热部件将热量传导到冷板上,然后通过冷板内部液体循环带走热量。

由于服务器芯片等发热器件不用直接接触液体,所以该方式对现有服务器芯片组件及附属部件改动量较小,可操作性更强,成为目前成熟度*高、应用*广泛的液冷散热方案。

二次侧相对稳定,通过冷却液分配单元(CDU)及后面的系统架构进行配置。一次侧可以考虑多种的使用条件和场景进行组合。按照制冷的方式,主要分成机械制冷和自然冷却制冷,同时结合国内情况,进行划分如下:

表 一次侧和二次侧供液温度的参考值

6403.png

一次侧冷源有多种组成形式,需根据当地室外环境温度(包括干球/湿球温度)及液冷服务器的进液温度,确定是否需要下调水温;另外供水温度应比室内露点温度高出 2°C~3°C 左右,以防结露(见表 )。

• 方案一:冷水机组+冷却塔(开式+板换

在高热高湿地区,机房环境温度要求高,直接采用闭式冷塔 / 干冷器无法直接满足供冷要求,需要辅助机械制冷装置;冷源通常采用冷水机组 + 冷却塔的联合供冷的方式(见图),此结构适应性强,效率高,但耗水量较大,不适合缺水的地区。

6404.png

系统根据室外温度变化分成两种模式:

模式一:室外温度较低,无需冷机开启,仅凭冷塔 + 板换即可满足制冷要求。

模式二:冷塔出水水温高于 CDU 需求,需要机械降温补冷,形成冷塔 + 冷机的组合形式。

• 方案二:风冷冷水机组

风冷冷水机组将冷凝器、水泵、压缩机等部件合成整体,且通常配置干冷器(免费冷源模块),集成度高(见图);但是无法利用水的蒸发潜热,系统能效低,适合系统偏小环境以及缺水地区。

6405.png

使用模式与场景 1 相近,也具备两种模式:

模式一:室外温度较低,无需冷机开启,仅凭免费冷源模块即可满足制冷要求。

模式二:免费冷源模块无法满足 CDU 的温度要求,需要机械降温补冷,则直接使用风冷冷机形式。

• 方案三:闭式冷却塔/干冷器

对于当地气温全年较低,可采用闭式冷塔/干冷器直接供冷(见图 ),全年无需机械制冷。

6406.png

该系统也分成两种模式:

模式 1:干模式,无需通过水蒸发散热。

模式 2:湿模式,系统需要通过喷水蒸发的潜热带走热量,闭式冷却塔此时和开式冷却塔相同。干冷器通过进风口的湿膜初步降温,再进行二次降温。

• 方案四:开式冷却塔

开式冷却塔制冷模式与闭式冷却塔完全相同(见图),只是开式冷却塔水路与大气相通,水质较差。

6407.png

上述方案以液冷侧需求为主要考量因素(见表)。冷板液冷机房在实际运转过程中,液冷系统往往仍然需要配备少量空调使用,以满足服务器中非液冷部件的散热需求。

表 一次侧冷源建议方案

6408.png



▶二次侧冷板液冷概述

二次侧液体回路是指从冷量分配单元到机架,通过供回冷却工质歧管和 IT 设备连接,然后再通过歧管返回冷量分配单元的设计。

来自二次侧冷却回路的热量通过冷量分配单元的板式热交换器传递到一次侧冷却回路,*终排放到大气中或被热回收再利用。

随着 IT 设备功率密度的增加,需要更高效的冷却技术来满足日益增长的算力需求。

与传统的风冷相比,液冷方案提供了更加高效的冷却效率。而何时转换到液冷取决于许多不同的因素,例如包括散热性能需求、电力配备、PUE 要求、IT 设备密度、冷却成本,以及将来的 IT 设备的性能需求和部署策略等等。

另外,是改造现有设施还是重新建造新的数据中心机房, 也需纳入 TCO 的考量范围。

采用液体冷却的一个直接原因是,传统的风冷方案已经无法满足 IT 设备的散热需求,故而需要新的方案提升冷却能力。

对于 CPU 和 GPU 等高功耗元器件,究竟何时或在何种功率水平下需要液体冷却,目前尚无通用指南,不能一概而论。

但应注意的是,除了成本分析外,还需要了解液冷方案的一些设计考量,比如冷却回路中的所有浸润材料与所使用的冷却工质相容并保持长期可靠性,使用的冷却工质不能与任何其他冷却工质混合使用等等。




▶ 服务器液冷模组管路设计

液冷模组.jpg

推荐产品:PH AW200NC、Continental AW200NC



液冷模组2.jpg

▶ 液冷机柜管路

液冷机柜.jpg


▶ CDU 冷量分配单元管路

CDU液冷.jpg



华为服务器液冷专家交流纪要

1、华为和液冷供应商的合作模式

Q:华为和液冷合作伙伴是如何分工的?

A:华为做得好的方面是研究基础应用和基础原材料以及散热的技术的可靠性关键性问题,但不做系统解决方案,但华为要求集成商把关键的原材料液冷,冷媒等按照华为研究的方案实行,这其中关键的参数,关键技术由华为来研究,确定后由集成商提供。

但像英维克做了很多年液冷相关的东西,接头,热管等结构件都具有成本优势。英维克他们在这个领域研究了很多年,直接拿他们的产品来用可能成本更低,技术方面也可靠。如果业界没有好的产品,华为可以自己研究目前来看已经有了就会去直接采购。

Q:可以理解为,华为对冷却液冷板核心的技术想要自己掌控,华为 2012 实验室不做工程化的东西,做的是技术输出的角色,所以华为的服务器和云计算中心都是找合作伙伴做的是吗?

A:对,华为主要是评估技术,和集成商做技术方面的合作开发,做成产品级是合作伙伴来实行。比如其中的冷媒,冷管,管道布置,以及里面的瓷片,华为不做因为成本高且量不大。所以技术上的合作不会抢占系统集成商的市场。华为研究了一些新的技术(通过智能监控系统控制功耗)之后会提出该如何做,集成商再按照要求去开发,部署到体系中。       

2、华为液冷供应商的合作伙伴

Q:合作伙伴大概有几类,按照什么划分档次或者说市占率多少?

A:英维克在华为服务器里面做的比较多,排名还是**的,份额  30%左右。

高澜基本排在第二,偏向于中低端服务器,采购量应该也在  20~30%左右。

川润份额在  15-20%左右,川润潜力比较大,目前主要做特殊场景下的散热。

AVC、智通电子等,但是这类合作伙伴不做液冷,做风冷等低端服务器。

目前华为 A 级合作伙伴是英维克和高澜,优势主要体现在技术和成熟度。B 级是川润,AVC、智通等。    

但是液冷合作伙伴就是英维克,高澜和川润三家,AVC  和智通是做风冷的。          

Q:川润做的特殊场景散热怎么理解?和英维克相比优劣势在哪里?

A:川润在电力电网和储能的液冷做的技术比较成熟,且成本管控能力比较好,所以受到了华为的认可。川润的技术方面在华为服务器的应用来看做的问题不大,技术主要运用在数据中心、云计算,后续还要观察长期稳定性方面,比如会不会有液体渗漏,接头处会不会被腐蚀,超醇水会不会产生一些有害物质等问题。

华为服务器有些是非标准定制的,体积、大小和常规的服务器不一样,川润做液冷的定制开发。定制开发指的是管道包括接头都是非标准件,采取压铸工艺做出来新的不是大量使用的标准件。这些标准件成本高、没有大批量生产、质量稳定性有待验证。

英维克目前不愿意定制开发(影响产能),而川润做为新进入者比较灵活,定制化的东西可以去开模,由华为提供技术支持。

川润的液冷在储能,电力电网上面以及有很多运用了,所以用在服务器上技术实力受到华为认可。但是公司大批量供货的时间不太长,长期可靠性的验证还需要再观察一段时间。目前华为大规模的常规标准产品是英维克用的多一点。

川润目前也在争取做标准化的产品给华为认证,华为标准的服务器也用了川润的产品(小批量验证看市场反应),川润是比较有潜力的,川润进入 A 级合作伙伴也是很有可能的,如果在新一轮招标中商务招标中,川润提供的价格有竞争力的话份额会超过高澜,排在第二。

Q:新一轮的商务招标大概在什么时候开始?

A:今年第四季度招完了,新一轮在明年的 2 月份启动。每年招标两次,上下半年各一次。目前来看,这几家集成商基本都非常稳定。招标主要看和采购怎么谈,看招标的价格和配合度然后采购、其他质量部门和研发部门打分进行排名,*终才能决定份额。

Q: *终客户是华为,还是超聚变和华鲲振宇这种服务器公司?

A:几家服务器公司关系是

超聚变,英维克配合的多一点。高澜也有供货,毕竟超聚变体量比较大。    

华鲲震宇。川润主要配合华鲲震宇,两家企业都在成都,且两家企业距离相距不远。

服务器厂商和液冷解决方案供应商需要捆绑合作的原因在于责任认定。举个例子冷板末端需要直接在 CPU  或者 GPU  服务器内部,通过一块中空的铝合金板或者铜板与 CPU、GPU  进行连接。铜板上面有一根管子,从服务器内部拉出来,然后连接到换热器板上,管道中流动的是去离子水。然后再连接到水泵节能塔等一套系统,所以这套系统与 CPU  是紧密相连的。现在*大的问题是明确责任。一旦出现问题,责任应该由谁承担,这是个非常重要的问题。华为采购来的是服务器和散热器已经组装好的,直接接冷管和冷媒系统开通循环起来,其他不会现场再去装。

Q:定制开发的利润率情况如何,能赚钱么

定制开发价格往往高于标准的,因为加工成本高,川润利润是很高的。产品利润能达到   50%-60%的毛利,纯利润 30%-40%。     

3、AI 服务器

Q:AI 服务器液冷竞争格局有无变化

A:AI 服务器和通用服务器并没有大的区别,技术原理上都是相同的,都是通过冷媒去散热,只是单位时间内的散热量和散热功耗比较大。         

Q:AI 服务器液冷价值量多少钱呢?

A:AI 服务器至少两三万块一套。    

华为液冷超充专家交流纪要

Q:充电枪线的价值量?

价格比较透明,600A的价格在1万元/只,600千瓦充电功率的场站要根据设计,一个充电堆可以有多个端口,也不一定所有枪线都用液冷。一般250千瓦以上要用液冷的。场站都是充电堆的形式,前面整流是一个堆,后面充电桩可以分很多路。当前市面上的情况看,10个充电枪里可能2个是液冷的,后面大功率液冷枪的比例会慢慢增加。我们600千瓦的充电堆*多支持12把枪。前面整流堆是限定死了,后面加起来可以比600千瓦大,但600千瓦的整流堆是可以过载到720千瓦的。         

Q:申请一个600千瓦的场站,要想做到更大的功率,是需要重新申请吗?

是的,容量不够是不行的。申请就是去电力公司填一个表格,等他们施工就可以,电力公司是欢迎的。如果线路上已经没有容量了,需要单独拉线,就会问你收费,看你要不要付钱。        

Q:华为的场站都是600千瓦的吗?

华为数字能源部门不建场站。它是充电堆的开发部门,不做运营。但如果说华为汽车,就不一定了。小鹏、理想、蔚来也都在建自己的充电站。      

Q:华为的场站是谁在运营?

是第三方。具体不好讲。         

Q:华为目前有多少个场站?

200多个也只是今年,原来规划的量很大,*后台数也就是小几千台。明年规划的量是小几万台,但也没有定死。         

Q:什么场景适合建设超充站?

充电堆这么大功率,对商业区和居民区要面临两个挑战,**是空间,虽然液冷可以减少15%占地面积和体积,但毕竟是600千瓦的,整流堆就要4立方米,加上变压器等设备,第二是电力容量。我们看到比较好的场景是高速公路或国道两边,是国网的地盘,这里空间是够的,电力配套也是到位的。另外就是几个油企,他们的网点也比较从成熟了,比较全,大多数配电都还是可以的,有一些线路还是专线,但他们可能面临一些安全保护问题。         

Q:除了国网和油气,第三方运营平台也是你们客户吗?

第三方肯定是的,协鑫他们就来了一趟,充电堆去年就做出来了,特锐德以前就买华为的充电模块,他们自己做快充桩。我们得到的消息是他们也在做充电模块,但还没有那么快,还在向华为买。         

Q:车企也是充电桩客户,小鹏他们有可能会购买华为的充电桩吗?

现在还没有明确消息,他们也跃跃欲试,也在看。做充电堆的大家都在做。   

Q:在汽车端的竞争关系会影响充电堆销售吗?

不会。数字能源和汽车是两个独立事业部,我们数字能源事业部相当于是骑车事业部的供应商,它制约不了我们。我们当初做这个业务是瞄着国网南网和三桶油的,但他们落地过程中比较缓慢,今年这小几千台主要还是运营商买去了,其中三分之一是华为自己装的,相当于广告费,这里装几台那里装几台,做实验用的,剩下就是运营商买去了。往后看肯定还是以国网南网和三桶油这些客户为主。至于出海,当前看可能也只是广告的目的大一些,现在海外市场比中国要小十倍。      

Q:充电桩的海外销售情况?

我们在香港搞几个,其他就没有了。海外市场这两年实际量是比较小的,欧洲和美国每年也就是两三万台,国内是30万台,海外量比较小。我说的是充电桩,是堆的概念,可以配多把枪。      

Q:今年200多个场站,就对应小几千个充电堆吗?

是的。本来预计今年量要大不少,但有一个大客户落地慢了很多,就少了         

Q:价值量?

2米-3.5米,不会很长。小的会便宜一些,但不是线性的。600A,3.5米的,就是上万了。       

Q:毛利率?

不好讲,这是一个很新鲜的东西,技术难度也很大。肯定比传统枪线高。传统枪线就按大宗商品铜的价格去称重。         

Q:充电联盟的数据显示今年前三季度公共充电桩数字增长不快,但上市公司的增速都比较快,怎么看?

充电联盟的数据是不能代表行业的,是不准确的。        

Q:如果充电联盟数量不准确的话,如何跟踪充电桩数量?

跟踪新能源车的数量就可以,按*近几年的数据,新增的公共充电桩的车桩比大概是9:1,今年可以到7:1。理想状态可能是3:1。新增的公共充电桩里面,直流桩占比已经在48%,去年新增直流桩是31-34万台,今年要到56-60万台了。海外基本上70-80%的公共充电桩都是交流桩,诉求和国内不一样。         

Q:1秒1公里?

一般SUV,80度电,跑600公里,这样一公里是0.13度电,这样我一秒充0.1度,是这么来计算的。   

Q:充电桩出口?

国内现状看,整桩出口的非常少。未来肯定是会和光伏逆变器、储能一样去占领海外市场。ABB,施耐德也自己研发过,但后来还是去和华为购买模块去做充电桩。我们国内电力电子技术不比海外差,而且供应链完全可以打败海外供应链,他们买国内模块比自己做便宜。

Q:特锐德那边很多是充电比较慢的桩,他们如果换超充的话怎么看?

我们搞的360千瓦的充电桩就是为替换场景准备的。特锐德的充电桩是80和60千瓦的多一些,他们电容量是够的,它是风冷桩,体积本身就比液冷大,这样替换是没问题的。

Q:整桩出口欧美等市场什么时候可以上量?

应该是要到后年。

Q:液冷枪不含线的价格是多少?

不可能分开的,分开就没办法做了。枪头和线缆是要可靠连接,还需要液体和导体都是包裹的,难点就在这里。是一体的,没办法分开。

Q:海外住宅比较适合装交流桩,公共桩的车桩比是15:1,未来怎么看?

欧美可能5:1,直流占3-4成比较合适。

Q:快充、超充比较多的话,车桩比有必要做到1:1配套吗?

不仅要考虑当前的小车,未来所有车可能都是电车,这里面就有大车,可能是好几百度电的车。    

Q:农村需要交流桩吗?

农村不会用交流桩,农村随便拉一根线就可以。