三星将首秀36GB HBM3E内存：NVIDIA H200单卡就有216GB

三星将首秀36GBHBM3E内存：NVIDIAH200单卡就有216GBNVIDIAH200AI加速卡将首发采用三星36GBHBM3E，只需要八颗，就能达成6144-bit的位宽、216GB的容量，从而超过192GBHBM3内存的AMDInstinctMI300X。H200还支持四路、八路互连，因此单系统的HBM3E内存容量可以达到864GB、1728GB！按照惯例，NVIDIA可能会出于良品率的考虑，屏蔽一小部分容量，但是单卡超过200GB、单系统超过1.6TB必然是很轻松的。按照NVIDIA的说法，H200虽然还是Hopper架构，但相比H100再次飞跃，700亿参数Llama2、1750亿参数GTP-3模型的推理性能分别提升多达90％、60％，对比前代A100HPC模拟性能直接翻番。NVIDIAH200计划2024年第二季度出货，三星36GBHBM3E则会在第一季度投入量产，正好赶得上。...PC版：https://www.cnbeta.com.tw/articles/soft/1422775.htm手机版：https://m.cnbeta.com.tw/view/1422775.htm

老黄深夜炸场：世界最强AI芯片H200震撼发布 性能飙升90%

老黄深夜炸场：世界最强AI芯片H200震撼发布性能飙升90%全世界的AI公司都陷入算力荒，英伟达的GPU已经千金难求。英伟达此前也表示，两年一发布的架构节奏将转变为一年一发布。就在英伟达宣布这一消息之际，AI公司们正为寻找更多H100而焦头烂额。英伟达的高端芯片价值连城，已经成为贷款的抵押品。谁拥有H100，是硅谷最引人注目的顶级八卦至于H200系统，英伟达表示预计将于明年二季度上市。同在明年，英伟达还会发布基于Blackwell架构的B100，并计划在2024年将H100的产量增加两倍，目标是生产200多万块H100。而在发布会上，英伟达甚至全程没有提任何竞争对手，只是不断强调“英伟达的AI超级计算平台，能够更快地解决世界上一些最重要的挑战。”随着生成式AI的大爆炸，需求只会更大，而且，这还没算上H200呢。赢麻了，老黄真的赢麻了！141GB超大显存，性能直接翻倍！H200，将为全球领先的AI计算平台增添动力。它基于Hopper架构，配备英伟达H200TensorCoreGPU和先进的显存，因此可以为生成式AI和高性能计算工作负载处理海量数据。英伟达H200是首款采用HBM3e的GPU，拥有高达141GB的显存。与A100相比，H200的容量几乎翻了一番，带宽也增加了2.4倍。与H100相比，H200的带宽则从3.35TB/s增加到了4.8TB/s。英伟达大规模与高性能计算副总裁IanBuck表示——要利用生成式人工智能和高性能计算应用创造智能，必须使用大型、快速的GPU显存，来高速高效地处理海量数据。借助H200，业界领先的端到端人工智能超算平台的速度会变得更快，一些世界上最重要的挑战，都可以被解决。Llama2推理速度提升近100%跟前代架构相比，Hopper架构已经实现了前所未有的性能飞跃，而H100持续的升级，和TensorRT-LLM强大的开源库，都在不断提高性能标准。H200的发布，让性能飞跃又升了一级，直接让Llama270B模型的推理速度比H100提高近一倍！H200基于与H100相同的Hopper架构。这就意味着，除了新的显存功能外，H200还具有与H100相同的功能，例如TransformerEngine，它可以加速基于Transformer架构的LLM和其他深度学习模型。HGXH200采用英伟达NVLink和NVSwitch高速互连技术，8路HGXH200可提供超过32Petaflops的FP8深度学习计算能力和1.1TB的超高显存带宽。当用H200代替H100，与英伟达GraceCPU搭配使用时，就组成了性能更加强劲的GH200GraceHopper超级芯片——专为大型HPC和AI应用而设计的计算模块。下面我们就来具体看看，相较于H100，H200的性能提升到底体现在哪些地方。首先，H200的性能提升最主要体现在大模型的推理性能表现上。如上所说，在处理Llama2等大语言模型时，H200的推理速度比H100提高了接近1倍。因为计算核心更新幅度不大，如果以训练175B大小的GPT-3为例，性能提升大概在10%左右。显存带宽对于高性能计算（HPC）应用程序至关重要，因为它可以实现更快的数据传输，减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型HPC应用，H200更高的显存带宽可确保高效地访问和操作数据，与CPU相比，获得结果的时间最多可加快110倍。相较于H100，H200在处理高性能计算的应用程序上也有20%以上的提升。而对于用户来说非常重要的推理能耗，H200相比H100直接腰斩。这样，H200能大幅降低用户的使用成本，继续让用户“买的越多，省的越多”！上个月，外媒SemiAnalysis曾曝出一份英伟达未来几年的硬件路线图，包括万众瞩目的H200、B100和“X100”GPU。而英伟达官方，也公布了官方的产品路线图，将使用同一构架设计三款芯片，在明年和后年会继续推出B100和X100。B100，性能已经望不到头了这次，英伟达更是在官方公告中宣布了全新的H200和B100，将过去数据中心芯片两年一更新的速率直接翻倍。以推理1750亿参数的GPT-3为例，今年刚发布的H100是前代A100性能的11倍，明年即将上市的H200相对于H100则有超过60%的提升，而再之后的B100，性能更是望不到头。至此，H100也成为了目前在位最短的“旗舰级”GPU。如果说H100现在就是科技行业的“黄金”，那么英伟达又成功制造了“铂金”和“钻石”。H200加持，新一代AI超算中心大批来袭云服务方面，除了英伟达自己投资的CoreWeave、Lambda和Vultr之外，亚马逊云科技、Google云、微软Azure和甲骨文云基础设施，都将成为首批部署基于H200实例的供应商。此外，在新的H200加持之下，GH200超级芯片也将为全球各地的超级计算中心提供总计约200Exaflops的AI算力，用以推动科学创新。在SC23大会上，多家顶级超算中心纷纷宣布，即将使用GH200系统构建自己的超级计算机。德国尤里希超级计算中心将在超算JUPITER中使用GH200超级芯片。这台超级计算机将成为欧洲第一台超大规模超级计算机，是欧洲高性能计算联合项目（EuroHPCJointUndertaking）的一部分。Jupiter超级计算机基于Eviden的BullSequanaXH3000，采用全液冷架构。它总共拥有24000个英伟达GH200GraceHopper超级芯片，通过Quantum-2Infiniband互联。每个GraceCPU包含288个Neoverse内核，Jupiter的CPU就有近700万个ARM核心。它能提供93Exaflops的低精度AI算力和1Exaflop的高精度（FP64）算力。这台超级计算机预计将于2024年安装完毕。由筑波大学和东京大学共同成立的日本先进高性能计算联合中心，将在下一代超级计算机中采用英伟达GH200GraceHopper超级芯片构建。作为世界最大超算中心之一的德克萨斯高级计算中心，也将采用英伟达的GH200构建超级计算机Vista。伊利诺伊大学香槟分校的美国国家超级计算应用中心，将利用英伟达GH200超级芯片来构建他们的超算DeltaAI，把AI计算能力提高两倍。此外，布里斯托大学将在英国政府的资助下，负责建造英国最强大的超级计算机Isambard-AI——将配备5000多颗英伟达GH200超级芯片，提供21Exaflops的AI计算能力。英伟达、AMD、英特尔：三巨头决战AI芯片GPU竞赛，也进入了白热化。面对H200，而老对手AMD的计划是，利用即将推出的大杀器——InstinctMI300X来提升显存性能。MI300X将配备192GB的HBM3和5.2TB/s的显存带宽，这将使其在容量和带宽上远超H200。而英特尔也摩拳擦掌，计划提升GaudiAI芯片的HBM容量，并表示明年推出的第三代GaudiAI芯片将从上一代的96GBHBM2e增加到144GB。英特尔Max系列目前的HBM2容量最高为128GB，英特尔计划在未来几代产品中，还要增加Max系列芯片的容量。H200价格未知所以，H200卖多少钱？英伟达暂时还未公布。要知道，一块H100的售价，在25000美元到40000美元之间。训练AI模型，至少需要数千块。此前，AI社区曾广为流传这张图片《我们需要多少个GPU》。GPT-4大约是在10000-25000块A100上训练的；Meta需要大约21000块A100；StabilityAI用了大概5000块A100；Falcon-40B的训练，用了384块A100。根据马斯克的说法，GPT-5可能需要30000-50000块H100。摩根士丹利的说法是25000个GPU。SamAltman否认了在训练GPT-5，但却提过“OpenAI的GPU严重短缺，使用我们产品的人越少越好”。我们能知道的是，等到明年第二季度H200上市，届时必将引发新的风暴。...PC版：https://www.cnbeta.com.tw/articles/soft/1396699.htm手机版：https://m.cnbeta.com.tw/view/1396699.htm

Nvidia将推出一款新的必备人工智能芯片-H200

Nvidia正在推出一款用于人工智能工作的新一代顶级芯片，即HGXH200。这款新的GPU在广受需求的H100的基础上进行了升级，内存带宽提升了1.4倍，内存容量提升了1.8倍，提高了处理密集生成式人工智能工作的能力。重要的问题是公司是否能够获得这些新芯片，或者它们是否会像H100一样供应不足，对此Nvidia并没有确切的答案。首批H200芯片将于2024年第二季度发布，Nvidia表示正在与“全球系统制造商和云服务提供商”合作，以使其可用。H200在外观上与H100基本相同，除了内存方面有所改变。但是对内存的改变使其升级更有意义。新的GPU是第一个使用名为HBM3e的新型更快内存规格的GPU。这使得GPU的内存带宽从H100的每秒3.35TB提升到每秒4.8TB，并且总内存容量从80GB增加到141GB。H200也被设计为与已经支持H100s的系统兼容。Nvidia表示，云服务提供商在添加H200时不需要进行任何更改。亚马逊、谷歌、微软和甲骨文等云计算服务提供商将是明年首批提供新型GPU的公司。标签:#Nvidia#英伟达频道:@GodlyNews1投稿:@GodlyNewsBot

NVIDIA发布AI超算DGX GH200：144TB内存、1.8万核CPU

NVIDIA发布AI超算DGXGH200：144TB内存、1.8万核CPUAI运算对内存容量的要求更高，所以DGXGH200通过最新的NVLink、NVLinkSwitch等技术连接了256块GraceHooper超级芯片，实现了极为夸张的性能及内存。GraceHooper我们之前报道过，这是一块CPU+GPU合体的超级芯片，CPU是NVIDIA自研的72核处理器，NeoverseV2内核，拥有480GBLPDDR5内存，512GB/s带宽。GPU部分是H100，FP64性能34TFLOPS，但更强的是INT8性能，AI运算能力达到了3958TFLOPS，带96GBHBM3内存。GH200总计有256块GraceHooper芯片，因此总计18432个CPU核心，144TBHBM3内存，AI性能达到了1exaFLOPS，也就是100亿亿次。这是什么概念，当前最强的TOP500超算也就是百亿亿次性能，只不过这个性能是HPC计算的，NVIDIA的是百亿亿次AI性能。为了让256个超级芯片互联，GH200还使用了256块单口400Gb/sInfiniBand互联芯片，256个双口200Gb/sInfiniBand芯片，还有96组L1NVLink、36组L2NVLink开关等等，设计非常复杂。NVIDIA表示，谷歌、Meta及微软是首批获得DGXH200系统的公司，后续他们还会开放给更多客户，运行客户定制。不过DGXH200还不是最强的，NVIDIA今年晚些时候会推出名为NVIDIAHelios的AI超算系统，由4组GH200组成，总计1024个GraceHooper超级芯片，576TBHBM内存。...PC版：https://www.cnbeta.com.tw/articles/soft/1362277.htm手机版：https://m.cnbeta.com.tw/view/1362277.htm

美光领先于SK Hynix 和三星 启动HBM3E内存的生产

美光领先于SKHynix和三星启动HBM3E内存的生产美光透露其正在大规模生产24GB8-HiHBM3E设备，每个设备的数据传输速率为9.2GT/s，峰值内存带宽超过1.2TB/s。与HBM3相比，HBM3E将数据传输速率和峰值内存带宽提高了44%，这对于像NVIDIA的H200这样对带宽要求极高的处理器尤为重要。NVIDIA的H200产品采用Hopper架构，计算性能与H100相同。同时，它配备了141GBHBM3E内存，带宽达4.8TB/s，比H100的80GBHBM3和3.35TB/s带宽有了显著提升。美光使用其1β（1-beta）工艺技术生产其HBM3E，这对该公司来说是一项重大成就，因为该公司将其最新的生产节点用于数据中心级产品，这是对制造技术的一种考验。随着美光即将于2024年3月发布36GB12-HiHBM3E产品，代表着公司的人工智能内存路线图得到了进一步巩固，与此同时这些设备接下来将用于何处还有待观察。领先于竞争对手SKHynix和三星开始量产HBM3E内存是美光公司取得的一项重大成就，目前美光公司在HBM领域占据10%的市场份额。此举对该公司至关重要，因为它使美光能够比竞争对手更早推出高端产品，从而有可能增加收入和利润率，同时获得更大的市场份额。美光科技执行副总裁兼首席业务官SumitSadana表示："美光在HBM3E这一里程碑上实现了三连冠：领先的上市时间、同类最佳的行业性能以及与众不同的能效特性。人工智能工作负载在很大程度上依赖于内存带宽和容量，美光通过我们业界领先的HBM3E和HBM4路线图，以及我们面向人工智能应用的全套DRAM和NAND解决方案组合，在支持未来人工智能的大幅增长方面处于非常有利的位置。"...PC版：https://www.cnbeta.com.tw/articles/soft/1420987.htm手机版：https://m.cnbeta.com.tw/view/1420987.htm

黄仁勋亲自前往OPENAI送上全球首台NVIDIA DGX H200

黄仁勋亲自前往OPENAI送上全球首台NVIDIADGXH200今天英伟达创始人兼首席执行官黄仁勋亲自带着全球首台NVIDIADGXH200加速卡前往OPENAI位于美国旧金山的办公室进行交付程序。OPENAI首席执行官萨姆奥特曼和OPENAI联合创始人兼总裁格雷格布罗克曼当面与黄仁勋进行交接，还在上发布了现场照片。H200相较于H100升级了内存容量和内存带宽，其中内存容量增加1.8倍，可以安装141GB内存；内存带宽提高1.4倍，总内存带宽高达4.8TB/秒。NVIDIAH200的价格传闻是在25000美元～40000美元，DGXH200服务器可以容纳4~8张H200加速卡，当然还有DGX本身的溢价，所以这台服务器的价格应该还是非常夸张的。来源，频道：@kejiqu群组：@kejiquchat