八路并联1.1TB HBM3e高带宽内存 NVIDIA奉上全新HGX H200加速器

八路并联1.1TBHBM3e高带宽内存NVIDIA奉上全新HGXH200加速器对比H100，容量增加了76％，带宽增加了43％，而对比上代A100，更是容量几乎翻番，带宽增加2.4倍。得益于NVLink、NVSwitch高速互连技术，H200还可以四路、八路并联，因此单系统的HBM3e内存容量能做到最多1128GB，也就是1.1TB。只是相比于AMDInstinctMI300X还差点意思，后者搭载了192GBHBM3，带宽高达5.2TB/s。性能方面，H200再一次实现了飞跃，700亿参数的Llama2大语言模型推理性能比H100提高了多达90％，1750亿参数的GTP-3模型推理性能也提高了60％，而对比前代A100HPC模拟性能直接翻番。八路H200系统下，FP8深度学习计算性能可以超过32PFlops，也就是每秒3.2亿亿次浮点计算，堪比一台大型超级计算机。随着未来软件的持续升级，H200还有望继续释放潜力，实现更大的性能优势。此外，H200还可以与采用超高速NVLink-C2C互连技术的NVIDIAGraceCPU处理器搭配使用，就组成了GH200GraceHopper超级芯片，专为大型HPC、AI应用而设计的计算模块。NVIDIAH200将从2024年第二季度开始通过全球系统制造商、云服务提供商提供。...PC版：https://www.cnbeta.com.tw/articles/soft/1396823.htm手机版：https://m.cnbeta.com.tw/view/1396823.htm

美光领先于SK Hynix 和三星 启动HBM3E内存的生产

美光领先于SKHynix和三星启动HBM3E内存的生产美光透露其正在大规模生产24GB8-HiHBM3E设备，每个设备的数据传输速率为9.2GT/s，峰值内存带宽超过1.2TB/s。与HBM3相比，HBM3E将数据传输速率和峰值内存带宽提高了44%，这对于像NVIDIA的H200这样对带宽要求极高的处理器尤为重要。NVIDIA的H200产品采用Hopper架构，计算性能与H100相同。同时，它配备了141GBHBM3E内存，带宽达4.8TB/s，比H100的80GBHBM3和3.35TB/s带宽有了显著提升。美光使用其1β（1-beta）工艺技术生产其HBM3E，这对该公司来说是一项重大成就，因为该公司将其最新的生产节点用于数据中心级产品，这是对制造技术的一种考验。随着美光即将于2024年3月发布36GB12-HiHBM3E产品，代表着公司的人工智能内存路线图得到了进一步巩固，与此同时这些设备接下来将用于何处还有待观察。领先于竞争对手SKHynix和三星开始量产HBM3E内存是美光公司取得的一项重大成就，目前美光公司在HBM领域占据10%的市场份额。此举对该公司至关重要，因为它使美光能够比竞争对手更早推出高端产品，从而有可能增加收入和利润率，同时获得更大的市场份额。美光科技执行副总裁兼首席业务官SumitSadana表示："美光在HBM3E这一里程碑上实现了三连冠：领先的上市时间、同类最佳的行业性能以及与众不同的能效特性。人工智能工作负载在很大程度上依赖于内存带宽和容量，美光通过我们业界领先的HBM3E和HBM4路线图，以及我们面向人工智能应用的全套DRAM和NAND解决方案组合，在支持未来人工智能的大幅增长方面处于非常有利的位置。"...PC版：https://www.cnbeta.com.tw/articles/soft/1420987.htm手机版：https://m.cnbeta.com.tw/view/1420987.htm

黄仁勋亲自前往OPENAI送上全球首台NVIDIA DGX H200

黄仁勋亲自前往OPENAI送上全球首台NVIDIADGXH200今天英伟达创始人兼首席执行官黄仁勋亲自带着全球首台NVIDIADGXH200加速卡前往OPENAI位于美国旧金山的办公室进行交付程序。OPENAI首席执行官萨姆奥特曼和OPENAI联合创始人兼总裁格雷格布罗克曼当面与黄仁勋进行交接，还在上发布了现场照片。H200相较于H100升级了内存容量和内存带宽，其中内存容量增加1.8倍，可以安装141GB内存；内存带宽提高1.4倍，总内存带宽高达4.8TB/秒。NVIDIAH200的价格传闻是在25000美元～40000美元，DGXH200服务器可以容纳4~8张H200加速卡，当然还有DGX本身的溢价，所以这台服务器的价格应该还是非常夸张的。来源，频道：@kejiqu群组：@kejiquchat

三星开发业界首款36GB HBM3E存储芯片 12层堆叠

三星开发业界首款36GBHBM3E存储芯片12层堆叠三星电子存储产品规划执行副总裁YongcheolBae表示，业界AI服务供应商越来越需要更高容量的HBM，而我们开发的全新HBM3E12H产品正是为满足这一需求设计的。技术方面，三星HBM3E12H采用先进的热压非导电薄膜（TCNCF），使12层产品具有与8层HBM芯片相同的高度，以满足当前HBM封装要求。该技术预计将在未来带来更多优势，特别是更高层数堆叠方面，因为业界正在努力减轻芯片裸片变薄带来的翘曲问题。三星不断降低NCF材料的厚度，并实现了当前业界最小的芯片间隙（7微米），同时消除了层间空隙。与此前的HBM38H产品相比，新技术的进步使得垂直密度提高了20%以上。三星表示，TCNCF技术还能够通过在芯片之间使用不同大小的凸块，来改善HBM的热性能。在芯片键合层面，较小的凸块用于信号传输区域，而较大的凸块用于需要散热的区域；该方法还有助于提高产品产量。集微网了解到，英伟达目前的H200旗舰AI芯片宣布采用HBM3E存储，下一代B100预计将同样采用HBM3E，目前三大存储芯片巨头三星、SK海力士、美光均重点发力HBM。三星表示，HBM3E12H将成为未来最佳解决方案，并降低数据中心总成本（TCO）。性能方面，新产品与HBM38H相比，人工智能训练平均速度可提高34%，用于推理服务支持的用户数量最高可增加11.5倍以上。目前三星已开始向客户提供HBM3E12H样品，计划于今年上半年量产。...PC版：https://www.cnbeta.com.tw/articles/soft/1421103.htm手机版：https://m.cnbeta.com.tw/view/1421103.htm

三星独家供货英伟达12层HBM3E内存 SK海力士出局

三星独家供货英伟达12层HBM3E内存SK海力士出局而SK海力士因部分工程问题，未能推出12层HBM3E产品，但计划从本月末开始批量生产8层HBM3E产品。今年2月27日，三星电子官宣成功开发出业界首款36GB12H（12层堆叠）HBM3EDRAM内存。据介绍，HBM3E12H能够提供高达1280GB/s的带宽和迄今为止最大的36GB容量，相比于8层堆叠的HBM38H，在带宽和容量上提升超过50%。同时相比于8层堆叠，其AI训练速度平均提高34%，同时推理服务用户数量也可增加超过11.5倍。在此前的GTC2024大会上，英伟达正式发布了B200和GB200系列芯片。据黄仁勋介绍，B200拥有2080亿个晶体管，采用台积电4NP工艺制程，可以支持多达10万亿个参数的AI大模型，还通过单个GPU提供20petaflops的AI性能。...PC版：https://www.cnbeta.com.tw/articles/soft/1424907.htm手机版：https://m.cnbeta.com.tw/view/1424907.htm

AMD新一代GPU MIX350年底推出 升级4nm、HBM3E

AMD新一代GPUMIX350年底推出升级4nm、HBM3E接下来的InstinctMI350，应该会继续基于CDNA3架构，或者略有改进，工艺进步为台积电4nm，内存升级为新一代HBM3E，容量更大、速度更快。NVIDIA即将出货的H200已经用上了141GBHBM3E，刚宣布的新一代B200进一步扩容到192GBHBM3E，从而抵消了AMD在容量上的优势。AMDMI350的具体内存容量不详，但肯定不会少于192GB，否则就不够竞争力了。AMDCTOMarkPapermaster之前就说过，正在准备新版MI300系列，重点升级HBM内存，但没有给出详情。值得一提的是，美国针对中国的半导体禁令不仅包括现有产品，比如AMDMI250/MI300系列、NVIDIAA100、H100/H200、B100/B200/GB200、A800/H800、4090系列，IntelGaudi2，还直接纳入了下一代产品，这自然就包括AMDMI350系列，以及Intel刚刚宣布的Gaudi3。...PC版：https://www.cnbeta.com.tw/articles/soft/1426984.htm手机版：https://m.cnbeta.com.tw/view/1426984.htm