NVIDIA液冷"AI GPU"数据中心成本高昂 组件价格飙升

NVIDIA液冷"AIGPU"数据中心成本高昂组件价格飙升有鉴于此,台湾《经济日报》报道称,由于各公司都想尽早抓住机遇,因此对水冷解决方案的需求大增。台湾热能管理协会主席透露,水冷过程中涉及的重要组件在市场上已经断货,这归咎于人工智能的炒作,以及个人和客户如何利用这种情况人为制造此类组件的短缺。该官员透露,水冷数据中心是人工智能市场的未来,对未来产品的可持续性至关重要。许多公司都意识到了对水冷服务器和数据中心的巨大需求,并正在开设专门的工厂,专注于生产此类冷却设备。英伟达公司首席执行官本人也重申了水冷对于数据中心发展的重要性,他表示,未来的数据中心将通过液体散热来冷却。值得注意的是,以Blackwell为核心的AIGPU服务器可能会大量采用水冷技术,但由于设置过程(板载板和配水方法)非常敏感,目前供应有限,造成了瓶颈,导致价格飙升。现在,这意味着即将投入使用的数据中心的价格将比以前的数据中心相对较高,这不仅是因为一代又一代的升级,还因为采用液体冷却可能会很昂贵。如果行业不尽快解决供应链效率低下的问题,可能会造成订单积压。...PC版:https://www.cnbeta.com.tw/articles/soft/1429176.htm手机版:https://m.cnbeta.com.tw/view/1429176.htm

相关推荐

封面图片

AI运算推动数据中心成本上涨 企业租赁价格越来越高

AI运算推动数据中心成本上涨企业租赁价格越来越高丹麦啤酒企业嘉士伯云基础设施经理索纳尔·古普塔(SonalGupta)表示,人工智能需求激增是数据中心服务提供商最近调价的主要原因。她指出,先进的人工智能工具需要更多基础设施,从而增加总体成本。她提到人工智能对增强处理能力、先进芯片和其他昂贵组件的需求。数据中心是仓库大小的建筑,内部装有多台服务器、路由器和其他信息技术设备,为云计算应用提供基础设施支持,因此能耗本来就很大。企业租用数据中心设施来存储数据和运行软件应用程序,通常按用电量支付费用。数据中心的客户既包括小型企业,也包括大型云提供商,目前用电量的增速已超过运营商扩展容量的速度。商业地产服务公司世邦魏理仕集团(CBREGroup)的最新分析显示,美国弗吉尼亚州北部拥有全球最大的数据中心市场,超过275个数据中心。今年可供租赁的用电量从一年前的46.6兆瓦缩减至38.4兆瓦。世邦魏理仕强调,尽管当地数据中心的总用电量同比增长19.5%至2132兆瓦,但可供租用的用电量却在下降。世邦魏理仕数据中心业务执行董事总经理帕特·林奇(PatLynch)表示,由于人工智能的使用量增加导致供电日益紧张,这给数据中心设施租赁价格带来了上行压力。世邦魏理仕的数据显示,今年前三个月,北弗吉尼亚的数据中心客户每月为每千瓦电量支付的费用高达140美元,较一年前的130美元上涨了7.7%。硅谷数据中心的空置率接近历史最低水平2.9%,每千瓦电量的最高月租甚至攀升至250美元,比2022年的175美元上涨了43%。林奇表示,建筑成本、劳动力价格和电价的上升,使得人工智能迅速成为数据中心调价的关键驱动因素。根据市场研究公司IDC的数据,到2026年,全球在人工智能方面的支出预计将超过3010亿美元,复合年增长率为26.5%。人工智能应用程序需要读取大量数据,耗电量比传统软件更高。一个人工智能模型短短几天时间就可以消耗上万度电。例如,OpenAI的人工智能聊天机器人ChatGPT背后的生成式人工智能模型甚至比标准的人工智能工具大100倍。市场研究公司EnterpriseTechnologyResearch今年对约500家企业IT主管进行了调查,超过一半的受访者表示计划评估、部署或投入更多资源来开发类似于ChatGPT的技术。IDC的云、边缘数据中心趋势研究主管肖恩·格雷厄姆(SeanGraham)表示,用于训练生成式人工智能模型的GPU耗电量很大。格雷厄姆表示,耗电量增加意味着数据中心需要部署更先进的制冷系统,这种设备往往比传统的空气冷却系统更昂贵且体积更大。他说,人工智能的推动使得所有这些因素都推高了数据中心的租赁价格。市场研究公司SynergyResearchGroup首席分析师兼研究总监约翰·丁斯代尔(JohnDinsdale)表示,数据中心运营商正在将运行人工智能应用程序的额外成本直接转嫁给客户。他说:“所有痛苦都落在了客户身上,而不是提供数据中心设施的公司身上。”IT服务和咨询公司Unisys创新生态系统和新兴技术全球总监克里斯蒂娜·蒙根(ChristinaMongan)表示:“人工智能正影响价格趋势和数据中心的扩张。”。她表示,价格上涨将促使公司首席信息官和其他IT主管重新考虑他们的数据中心战略,而数据中心运营商也需要寻找方法更好地预测未来需求并优化能量使用效率,这可能需要借助人工智能。Equinix在全球运营着超过245个数据中心。该公司执行副总裁兼数据中心服务总经理JonLin表示,近年来,为满足不断增长的需求而建设新的数据中心变得更具挑战性。他列举了供应链限制、申请许可困难、施工复杂以及电力供应等一系列因素。JonLin说:“简单的供求经济学加上利率不断上升的环境,自然就导致价格上涨。”尽管JonLin认为更多企业转型数字技术推高了价格,但他表示:“过去几个季度,我与首席信息官和其他企业技术负责人几乎每次谈话中都提到了人工智能。”他表示:“生成式人工智能引发了对企业如何运用人工智能和机器学习的巨大兴趣,但人工智能应用仍处于早期阶段。”IT研究公司ForresterResearch的高级分析师崔西·吴(TracyWoo)表示,对于企业技术负责人来说,数据中心成本上升可能导致云计算开支增加,因为许多云服务供应商也在租用数据中心设施。ForresterResearch估计,市场上主流云服务供应商的运营成本已经在上升。崔西·吴表示:“由于生成式人工智能工作负载需要更多算力,还会广泛影响数据中心的能源利用效率和冷却系统,毫无疑问,随着越来越多的公司应用生成式人工智能,云计算成本将继续上升。”目前,许多云计算服务供应商不仅运营自己的数据中心,还租用其他数据中心设施。崔西·吴说:“目前,我们还没有看到生成式人工智能导致成本大幅增加的情况。”她补充说:“但未来,随着这项技术成为每家公司的标准工具,情况可能会发生变化。”(辰辰)...PC版:https://www.cnbeta.com.tw/articles/soft/1370855.htm手机版:https://m.cnbeta.com.tw/view/1370855.htm

封面图片

中国液冷数据中心市场深度研究报告发布:今年中国液冷数据中心市场料增 53.2%

中国液冷数据中心市场深度研究报告发布:今年中国液冷数据中心市场料增53.2%12月12日到14日,第十八届中国IDC产业年度大典在北京国家会议中心召开。大会期间发布的《中国液冷数据中心市场深度研究报告》预测,2023年中国液冷数据中心市场将迎来53.2%的高速增长,市场规模将增长至154亿元。展望未来五年,数据中心液冷市场规模将突破千亿大关,液冷技术将成为数据中心冷却领域的重要解决方案。

封面图片

大摩:数据中心算力成本正在迅速下降

大摩:数据中心算力成本正在迅速下降摩根士丹利在3月24日的AI报告中指出,随着GPU技术的不断进步,例如英伟达从Hopper发展到Blackwell GPU架构,GAI的算力成本正显著降低。展望未来,大摩预测,AI算力成本将迅速下降,AI算力需求将蓬勃增长,预计2024/27全球数据中心电力需求将占到全球的~2%/4%,但电力基础设施可能跟不上这一增长形势。因此,大摩指出,能够满足AI快速增长电力需求的公司将从这一趋势中收益,特别是那些能够减少数据中心供电延迟的电力解决方案提供商。AI算力成本迅速下降大摩指出,随着GPU效率的提高,数据中心算力成本正在迅速下降,以英伟达最新发布的Blackwell为例,只占到hopper能耗的一半,具体来看:数据中心模型显示,使用HopperGPU的数据中心每teraFLOPs(每秒万亿次浮点运算)资本成本为14.26美元,而Blackwell数据中心的成本为7.48美元,这意味着当从HopperGPU升级到BlackwellGPU时,资本成本每teraFLOPs下降约50%。数据中心建设成本方面,Blackwell数据中心的总设施资本成本(包括GPU)为33.49亿美元,而Hopper数据中心的总设施资本成本为35.83亿美元。这些成本是针对假设的100MW 数据中心,并且包括了8个芯片/服务器和70%的服务器利用率。在每兆瓦时电力成本为100美元的假设下,Hopper数据中心的年度电力成本约为每teraFLOPs0.24美元,而Blackwell数据中心的年度电力成本约为每teraFLOPs0.14美元。这种下降主要是由于随着技术进步,GPU在能效方面的改进,使得在相同的电力消耗下能够提供更多的算力。AI算力需求激增给电力基础设施带来挑战与此同时,大摩预测,AI电力需求将迅猛增长,在基准情景下,预计2023-27年全球数据中心电力需求(包括GAI)为430—748太瓦时(TWh),相当于2024/27年全球电力需求的2%—4%。具体来看:在基准情景下(GPU利用率从60%提高到70%),数据中心在2023-27年的总电力容量将为70/122吉瓦。2023-27年GAI电力需求的复合年增长率为~105%,而同期全球数据中心电力需求(包括GAI)的复合年增长率将为~20%。牛市情景下(反映90%的芯片利用率),预计2023-27年全球数据中心电力需求为~446/820太瓦时。而熊市情景下(反映50%的利用率),预计2023-27年数据中心电力需求为~415/677太瓦时。此外,大摩还提到,其减少可再生能源服务占新数据中心电力的百分比,因为数据(如亚马逊/Talen交易)表明不可再生能源将发挥更大的作用。进一步来看,大摩指出,根据对全球数据中心电力需求预测,预计将给电力基础设施带来挑战,包括输电线路容量限制、规划和许可延误以及供应链瓶颈。因此,展望未来,能够满足AI快速增长能源需求的公司,特别是那些能够减少数据中心供电延迟的电力解决方案提供商将受市场欢迎。大摩表示,全球各地数据中心增长有所不同,但相似之处在于,数据中心公司和超大规模公司经常与电力开发公司合作,以最大限度地减少供电延迟,降低成本并减少排放。在美国,我们看到了合作伙伴关系的最初迹象,超大规模企业和核电厂所有者在核电厂建立新的大型数据中心,有利于电力公用事业ConstellationEnergy和独立电力生产商与能源贸易商Vistra等。而且我们还看到了现场发电的可能,这可能有利于许多电力股。在欧洲,到2035年,欧洲国家的数据中心需求将推动电力增长五倍,低估值欧洲电力股将受益,入西班牙私营跨国电力公司Iberdrola,芬兰能源企业Fortum。在东盟,马来西亚、新加坡和泰国电力需求强劲增长。为了最大限度地减少“供电时间”,我们看到数据中心开发商与东盟当地电力公司建立伙伴关系:英伟达和马来西亚杨忠礼集团合作,计划在马来西亚打造价值43亿美元的人工智能数据中心,泰国最大的私人发电公司海湾Gulf和泰国电信AIS开始建设新的泰国数据中心,新加坡电信Singtel、印尼电信公司Telkom于印度尼西亚能源公司MedcoPower就其在印度尼西亚的第一个数据中心项目建立战略合作伙伴关系。...PC版:https://www.cnbeta.com.tw/articles/soft/1425159.htm手机版:https://m.cnbeta.com.tw/view/1425159.htm

封面图片

特斯拉德克萨斯州新数据中心安装了一组巨型“GPU风扇”

特斯拉德克萨斯州新数据中心安装了一组巨型“GPU风扇”这些绝对巨大的风扇将用于特斯拉奥斯汀道场数据中心的冷却大楼,许多人将其与显卡相提并论。一位用户贴出梗图,冷却风扇上被P上了一张制作好的RTX5090照片。虽然这些帖子很有趣,但这些怪兽风扇对特斯拉来说可是正经事。该公司在人工智能领域的雄心壮志可能需要大量的冷却设备,以防止高能耗的GPU机架融化成一滩硅片。人工智能模型训练是一种令人难以置信的计算密集型工作负载,对图形处理器的依赖程度远远高于CPU。例如,像NVIDIA猛兽H100这样的GPU需要液体冷却才能充分发挥作用。因此,人工智能的蓬勃发展迫使人们重新思考数据中心的设计和建造方式,以应对疯狂的冷却需求。视频显示,特斯拉也在利用这种基础设施参与游戏。视频还显示,现场似乎正在进行人工水库的基础工作,工作人员正在上面铺设巨大的黑板。虽然特斯拉没有详细说明其用途,但保持健康的水供应对大型数据中心的冷却系统和发电需求至关重要。最大的服务器群每年可消耗数十亿加仑的水。在幕后,该设施的竣工之路并非一帆风顺。TheInformation的一篇报道称,埃隆-马斯克(ElonMusk)对项目的延误"大发雷霆",因为该项目对于实现特斯拉电动汽车完全自动驾驶功能的愿景至关重要。早在四月中旬,马斯克就曾参观过这一工地,但他发现,由于交货不及时、恶劣天气和其他施工问题,该设施的屋顶和地面仍有大部分缺失。他的隧道工程公司TheBoringCompany本应建造一条地下道路,供赛博特卡车自动穿越校园。但由于这条隧道尚未建成,数据中心的地面层一直处于停工状态。事情很快就败露了--项目基础设施主管AmirMirshahi被革职。特斯拉的整体情况也不尽如人意。米尔萨希被解雇一周后,特斯拉裁员10%,这很可能是公司电动汽车需求放缓的结果。在这个充满挑战的季度,特斯拉的汽车交付量同比下降了8.5%,几位高管也已经告别了这家电动汽车制造商。...PC版:https://www.cnbeta.com.tw/articles/soft/1435495.htm手机版:https://m.cnbeta.com.tw/view/1435495.htm

封面图片

预计NVIDIA今年数据中心收入达460亿美元 持续在AI领域占据主导地位

预计NVIDIA今年数据中心收入达460亿美元持续在AI领域占据主导地位NVIDIA将在2024年"统治"人工智能市场,预计该公司今年将从数据中心领域获得"高达"460亿美元的收入,创造新的记录。强大的人工智能GPU产品组合和未来发布将使其在2024年继续保持“山丘之王”的地位...PC版:https://www.cnbeta.com.tw/articles/soft/1415611.htm手机版:https://m.cnbeta.com.tw/view/1415611.htm

封面图片

英特尔开发创新的数据中心冷却技术 由美国能源部赞助

英特尔开发创新的数据中心冷却技术由美国能源部赞助英特尔的项目预计是一个为期三年的协议,提供171万美元的资金将使摩尔定律得以延续,使英特尔能够为其最高性能的处理器增加更多的内核和晶体管,同时管理未来设备的热量。英特尔超级计算平台集团的首席工程师和首席热力架构师TejasShah说:"浸入式冷却因其简单性、可持续性和易于升级而被采用。这项提议将使两相浸入式冷却与未来十年处理器预期的功率指数增长相一致"。为什么它很重要数据中心约占美国总耗电量的2%,而数据中心的冷却可占到数据中心整体能源使用量的40%。所选项目旨在减少冷却数据中心所需的能源,并降低与这一重要基础设施相关的运营碳足迹。为了满足对计算能力和性能不断增长的需求,未来的数据中心处理器预计将需要超过2千瓦的功率,这对现有技术的冷却是一个挑战。(通过该计划开发的冷却解决方案将提高英特尔处理器和通过英特尔代工服务生产的处理器的能力,使摩尔定律得以延续,并进一步推动英特尔对能源效率和可持续解决方案的承诺。如何运作英特尔将与学术界和业界领袖合作,开发其创新的浸入式冷却解决方案。英特尔将监督研究工作,提供热测试车辆进行评估,并确定下一代处理器的外形尺寸和限制,包括热点位置。英特尔的项目开发了超低热阻的珊瑚形浸入式冷却散热器,集成在一个三维蒸汽室腔内,以支持更密集、更高性能的设备。英特尔的设计将通过优化3D蒸气室来解决适应两相浸入式冷却的挑战,以更有效地传播热量。研究人员将3D打印新型散热器,并在一系列工作条件下测试蒸发器。该团队将把新的蒸气室设计与创新的沸腾增强涂层配对,通过促进高成核点密度来减少热阻。今天,制造者在平坦的表面上应用这些涂层,但研究表明,具有内部槽状特征的珊瑚状散热器设计在两相浸泡冷却的情况下具有最高的外部传热系数潜力。该团队将使用计算方法来确定珊瑚状散热器的最佳设计。(作为比较,今天的散热器通常是由长而平行的肋骨制成的)。研究人员将把这些创新集成到一个两相浸入式冷却系统中,在这个系统中,服务器在一个专门设计的密封罐中运行,该罐使用非导电液体介质。服务器产生的热量导致液体沸腾并产生蒸汽,而蒸汽又经历了相变,使其恢复到液体状态,同时带走热量(很像家用空调系统)。该团队的目标是将整个两相浸入式冷却系统的能力从0.025℃/瓦提高到低于0.01℃/瓦,或2.5倍(或更多)的效率提高。...PC版:https://www.cnbeta.com.tw/articles/soft/1365535.htm手机版:https://m.cnbeta.com.tw/view/1365535.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人