世界第一AI芯片“WSE-3”升级4万亿晶体管、90万核心

世界第一AI芯片“WSE-3”升级4万亿晶体管、90万核心2021年的第二代WSE-2升级台积电7nm工艺，面积不变还是46225平方毫米，晶体管增至2.6万亿个，核心数增至85万个，缓存扩至40GB，内存带宽20PB/s，互连带宽220Pb/s。如今的第三代WSE-3再次升级为台积电5nm工艺，面积没说但应该差不多，毕竟需要一块晶圆才能造出一颗芯片，不可能再大太多了。晶体管数量继续增加达到惊人的4万亿个，AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB。乍一看，核心数量、缓存容量增加的不多，但性能实现了飞跃，峰值AI算力高达125PFlops，也就是每秒12.5亿亿次浮点计算，堪比顶级超算。它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型，能在单一逻辑内存空间内存储24万亿参数，无需分区或者重构。用它来训练1万亿参数大模型的速度，相当于用GPU训练10亿参数。四颗并联，它能在一天之内完成700亿参数的调教，而且支持最多2048路互连，一天就可以完成Llama700亿参数的训练。WSE-3的具体功耗、价格没公布，根据上代的情况看应该在200多万美元。...PC版：https://www.cnbeta.com.tw/articles/soft/1423559.htm手机版：https://m.cnbeta.com.tw/view/1423559.htm

美国加州半导体公司CerebrasSystems发布第三代晶圆级AI加速芯片“WSE-3”(WaferScaleEngine3)

美国加州半导体公司CerebrasSystems发布第三代晶圆级AI加速芯片“WSE-3”(WaferScaleEngine3)，规格参数更加疯狂，而且在功耗、价格不变的前提下性能翻了一番。WSE-3再次升级为台积电5nm工艺，面积没说但应该差不多，然而，晶体管数量继续增加达到惊人的4万亿个，AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB。核心数量、缓存容量增加的不多，但性能实现了飞跃，峰值AI算力高达125PFlops，也就是每秒12.5亿亿次浮点计算，堪比顶级超算。它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型，能在单一逻辑内存空间内存储24万亿参数，无需分区或者重构。四颗并联，它能在一天之内完成700亿参数的调教，而且支持最多2048路互连，一天就可以完成Llama700亿参数的训练。WSE-3的具体功耗、价格没公布，根据上代的情况看应该在200多万美元。

Cerebras Systems 发布第三代晶圆级 AI 加速芯片 “WSE-3”(Wafer Scale Engine 3)，

CerebrasSystems发布第三代晶圆级AI加速芯片“WSE-3”(WaferScaleEngine3)，再次升级为台积电5nm工艺，面积没说但应该差不多，然而，晶体管数量继续增加达到惊人的4万亿个，AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB。核心数量、缓存容量增加的不多，但性能实现了飞跃，峰值AI算力高达125PFlops，也就是每秒12.5亿亿次浮点计算，堪比顶级超算。它可以训练相当于GPT-4、Gemini十几倍的下一代AI大模型，能在单一逻辑内存空间内存储24万亿参数，无需分区或者重构。四颗并联，它能在一天之内完成700亿参数的调教，而且支持最多2048路互连，一天就可以完成Llama700亿参数的训练。WSE-3的具体功耗、价格没公布，根据上代的情况看应该在200多万美元。注：该公司2019年的第一代WSE-1基于台积电16nm工艺，面积46225平方毫米，晶体管1.2万亿个，拥有40万个AI核心、18GBSRAM缓存，支持9PB/s内存带宽、100Pb/s互连带宽，功耗高达15千瓦。2021年的第二代WSE-2升级台积电7nm工艺，面积不变还是46225平方毫米，晶体管增至2.6万亿个，核心数增至85万个，缓存扩至40GB，内存带宽20PB/s，互连带宽220Pb/s。

Meta 推出 80 亿参数和 700 亿参数的 Llama 3 模型

Meta推出80亿参数和700亿参数的Llama3模型据Meta旗下AIatMeta官方在X平台发文表示，Meta正式发布了Llama3包括80亿参数和700亿参数在内的2个模型。该模型实现了新功能，例如改进的推理能力，并为特定模型设定了新的最先进水平。在接下来的几个月中，我们预计将推出新功能、更长的上下文窗口、额外的模型大小和增强的性能+Llama3研究论文，供社区从我们的工作中学习。

摩尔线程千卡GPU集群完成700亿参数大模型训练

摩尔线程千卡GPU集群完成700亿参数大模型训练访问：NordVPN立减75%+外加3个月时长另有NordPass密码管理器这充分验证了夸娥智算集群作为国产全功能GPU千卡千亿大模型预训练平台，在稳定性、高效能、易用性和高算力利用率的先进性。这也是憨猴集团首次使用国产AI算力完成大模型训练测试，后续可为其服务的国有企业与运营商等关键领域，提供更加坚实可靠的国产AI训练平台，以及成本效益更优的国产算力解决方案。同时，摩尔线程与憨猴集团签署了战略合作协议。双方将聚焦AI大模型和算力领域，通过摩尔线程夸娥千卡智算集群与憨猴集团AI智算产品及数字化解决方案的深度融合，共同探索国产AI算力的新应用场景与落地实践，加速数智化产业的全面升级。在此之前，摩尔线程已成为第一家接入无问芯穹，并成功完成千卡级别大模型训练的国产GPU公司，夸娥千卡集群与无穹Infini-AI顺利完成了系统级融合适配，并完成了LLama2700亿参数大模型的训练测试。“夸娥”集群基于双路八卡GPU服务器MCCXD800，每个节点有八块MTTS4000GPU加速卡、两颗Intel第四代至强处理器、16x64GB内存、4x3.84TBNVMeSSD，以及双路400GbIB、四路25Gb以太网网络，一体化交付解决大规模GPU算力的建设和运营管理问题。夸娥氏是我国神话传说中的大力神，出自《愚公移山》：“帝感其诚，命夸娥氏二子负二山，一厝朔东，一厝雍南。自此，冀之南，汉之阴，无陇断焉。”...PC版：https://www.cnbeta.com.tw/articles/soft/1431309.htm手机版：https://m.cnbeta.com.tw/view/1431309.htm

Cerebras 发布了第三代晶圆级AI加速芯片“WSE-3”

Cerebras发布了第三代晶圆级AI加速芯片“WSE-3”人工智能超级计算机公司Cerebras表示，其下一代晶圆级人工智能芯片可以在消耗相同电量的情况下将性能提高一倍。WSE-3与前代产品一样使用整个晶圆制造，包含4万亿个晶体管，由于使用了台积电5nm工艺，比数量增加了50%以上。AI核心数量进一步增加到90万个，缓存容量达到44GB，外部搭配内存容量可选1.5TB、12TB、1200TB，峰值AI算力高达125PFlops。该公司表示将在新一代人工智能计算机中使用WSE-3，这些计算机目前正在达拉斯的一个数据中心安装，形成一台能够执行8exaflops（每秒80亿次浮点运算）的超级计算机。——