Azure AI 入门 （三）摩尔定律，GPU与并行计算

AzureAI入门（三）摩尔定律，GPU与并行计算摩尔定律(图一）是英特尔Intel创始人之一戈登·摩尔的经验之谈，其核心内容为：集成电路IC相同面积上可以容纳的晶体管Transistor数目在18个月到24个月便会增加一倍，因此处理器的性能大约每两年翻一倍，同时价格下降为之前的一半。虽然名为“定律”，但其只是根据20世纪中后期的发展趋势归纳而成。进入21世纪以后，以英特尔为代表的中央处理器CPU的发展趋势渐渐慢于摩尔的预测的。仅依靠单颗处理器的速度提升已无法满足日渐复杂的计算任务，比如3维图形的渲染（3Drendering)。因此，英伟达Nvidia在1999年提出了硬件图形处理器（GraphicsProcessingUnit)的概念，以大量的只能完成某些特殊任务的微处理器，代替少量的通用处理器。软件方面，并行计算也从专业科学领域逐渐向大众领域流行。用一个可能不是最恰当的比方，CPU像是由4位特级厨师组成的小组，可以完成任何烹饪任务，而GPU像是用同样工资请来的128位三明治店的员工。GPU不能做很多事，像完成一些特定的菜，但如果任务是制作2000人份的三明治，GPU一定可以依靠并行计算比CPU完成得快许多。GPU与并行计算的普及，也使得云计算成为了可能。计算机科学家在设计计算任务时通常会首先考虑能否将大任务拆分成能同时进行的更小任务，从而可以同时运行在服务商提供的大量数目的CPU和GPU上。图二英伟达创始人黄仁勋JensenHuang

NVIDIA封杀转译兼容CUDA 摩尔线程官方：MUSA、MUSIFY不受影响

NVIDIA封杀转译兼容CUDA摩尔线程官方：MUSA、MUSIFY不受影响3月5日晚间，摩尔线程发表官方声明回应称，旗下的MUSA、MUSIFY技术均未受影响！摩尔线程强调，MUSA、MUSIFY不涉及NVIDIAEULA相关条款，开发者可放心使用。据介绍，MUSA是摩尔线程自主研发、拥有全部知识产权、软硬一体的全功能GPU先进计算统一系统架构，与CUDA无任何依赖关系。MUSIFY是摩尔线程面向MUSA开发者提供的开发工具，方便在MUSA计算平台上进行应用移植与开发。它可以让开发者将自己的C++源代码，转换成MUSAC++源代码，再通过MUSA编译器MCC编译生成基于MUSA指令集的二进制代码，最终运行在摩尔线程的全功能GPU上。摩尔线程还向开发者提供MUSASDK，这是摩尔线程GPU并行计算开发SDK的集合，包含了MUSAToolkits（内置运行时/编译器/GPU加速计算库/迁移/优化工具）及计算库、神经网络加速库、通信库等一系列开发工具，可让开发者快速开发出针对摩尔线程GPU优化的并行计算应用。摩尔线程强调，将充分发挥从芯片到显卡到集群的智算产品优势，继续打磨MUSA，持续为大模型训练与推理提供高性能算力支撑。...PC版：https://www.cnbeta.com.tw/articles/soft/1422488.htm手机版：https://m.cnbeta.com.tw/view/1422488.htm

黄仁勋：CPU性能扩展速度下降 处理密集型应用应得到加速

黄仁勋：CPU性能扩展速度下降处理密集型应用应得到加速在黄仁勋看来，如果我们需要处理的数据继续呈指数级增长，但处理的性能却没有提升，我们将经历计算膨胀和计算成本的提升。他指出，有一种更好的方法增强计算机的处理性能，那便是通过计算机增强CPU提供加速工作，通过专用处理器做得更好。“现在，随着CPU扩展速度放缓，最终基本停止，我们应该加快让每一个处理密集型应用程序都得到加速，每个数据中心也肯定会得到加速，加速计算是非常明智的，这是很普通的常识。”黄仁勋表示。他指出，计算机图形学是一门完全可以并行操作的学科。计算机图形学、图像处理、物理模拟、组合优化、图形处理、数据库处理，以及深度学习中非常著名的线性代数，许多类型的算法都非常适合通过并行处理来加速。因此，英伟达通过为CPU添加专用的辅助处理器，来实现了对于密集型应用程序的加速。“由于这两个处理器可以并行工作，它们都是自治的，具有更多独立的值，我们可以将100个单位的时间加速到1个单位的时间，速度快得令人难以置信。”黄仁勋表示。...PC版：https://www.cnbeta.com.tw/articles/soft/1433281.htm手机版：https://m.cnbeta.com.tw/view/1433281.htm

富士通推出GPU自适应分配技术 更合理地分配CPU和GPU资源

富士通推出GPU自适应分配技术更合理地分配CPU和GPU资源富士通的GPU自适应分配技术可根据每个应用程序所需算力，实时、动态分配GPU资源，会优先将GPU资源分配给执行效率高的进程，从而实现CPU和GPU计算资源的合理利用。富士通希望能够提高计算效率，以满足人工智能（AI）和深度学习领域对GPU的持续需求，更高效地利用超算系统中宝贵的GPU算力，将一些非必要的工作留给CPU处理。富士通还结合了新开发的交互式高性能计算技术，可在多个PC协同操作的高性能计算系统中并行处理多个应用程序，无需等待某个正在执行的程序结束。官方表示，这是全球首次实现了高性能计算系统中的并行处理，可用于数字孪生、生成式人工智能等需要大规模计算资源、实时性能的应用场景。如果这个听起来还不好理解，可以参考过去介绍如何利用PlayStation3组建超级计算机的故事。可以看到，富士通仍然在超级计算机领域努力前行，并试图寻找出更高效的计算解决方案。...PC版：https://www.cnbeta.com.tw/articles/soft/1396209.htm手机版：https://m.cnbeta.com.tw/view/1396209.htm

【Akash Network将Nvidia GPU添加到其去中心化计算市场】

【AkashNetwork将NvidiaGPU添加到其去中心化计算市场】2023年09月01日02点11分老不正经报道，AkashNetwork已实施主网6升级，作为升级的一部分，AkashNetwork将GPU添加到其去中心化计算市场，此次升级的重点是为用户提供NvidiaGPU来处理计算密集型工作负载。主网6发布后，提供的GPU包括NvidiaH100s和A100s等型号，以及能够处理计算密集型工作负载以训练人工智能和数据科学模型的消费级芯片。

戴尔在一个机架服务器内塞了72块NVIDIA B200 GPU加速卡

戴尔在一个机架服务器内塞了72块NVIDIAB200GPU加速卡即便如此，戴尔依然宣称GPU密度提高了33％，PCIe5.0通道多了20％，网络扩展能力翻倍。B200加速卡单个功耗达1000W，八卡就是8000W，再加上处理器、内存、硬盘、网卡等其他硬件，风冷自然是无法压制的，而是上了高效水冷，CPU、GPU全覆盖。针对更大规模的GPU计算部署需求，戴尔还支持在单个机架内配备多达72块B200加速卡，依然是水冷。戴尔PowerEdgeXE9680L服务器将在下半年上市。...PC版：https://www.cnbeta.com.tw/articles/soft/1431941.htm手机版：https://m.cnbeta.com.tw/view/1431941.htm