三星获得大量HBM3内存订单 为AMD MI300X GPU提供支持

三星获得大量HBM3内存订单为AMDMI300XGPU提供支持MI300X拥有最多8个XCD核心，304组CU单元，8组HBM3核心，显存容量提升到了192GB，相当于NVIDIAH10080GB的足足2.4倍，同时HBM内存带宽高达5.2TB/s，InfinityFabric总线带宽也有896GB/s，同样远超NVIDIAH100。MI300X的192GB显存不论性能还是容量都是史无前例的，尤其适合AI运算，单卡即可支持400亿参数大模型。MI300X比H100最有优势的就192GBHBM3显存了，不过供货问题也是一大考验，好在AMD这次准备充分，跟三星深度合作，后者提供了一揽子交钥匙服务，HBM3显存已经通过了AMD的认证测试。三星还计划将先进封装的产能提升一倍，以便更好地满足MI300X等产品对HBM3的需求，AMD理论上是不会出现缺货了。...PC版：https://www.cnbeta.com.tw/articles/soft/1378955.htm手机版：https://m.cnbeta.com.tw/view/1378955.htm

英伟达发布新一代 AI 芯片 H200

英伟达发布新一代AI芯片H200H200利用了美光等公司推出的HBM3e内存，提供了141GB内存容量(H100的1.8倍)和4.8TB/s内存带宽(H100的1.4倍)。大型语言模型推理速度方面，GPT-3175B是H100的1.6倍(A100的18倍)，LLaMA270B是H100的1.9倍。英伟达同时宣布2024年的H100产量翻倍，2024年第4季度发布基于新一代Blackwell架构的B100。投稿：@ZaiHuaBot频道：@TestFlightCN

三星独家供货英伟达12层HBM3E内存 SK海力士出局

三星独家供货英伟达12层HBM3E内存SK海力士出局而SK海力士因部分工程问题，未能推出12层HBM3E产品，但计划从本月末开始批量生产8层HBM3E产品。今年2月27日，三星电子官宣成功开发出业界首款36GB12H（12层堆叠）HBM3EDRAM内存。据介绍，HBM3E12H能够提供高达1280GB/s的带宽和迄今为止最大的36GB容量，相比于8层堆叠的HBM38H，在带宽和容量上提升超过50%。同时相比于8层堆叠，其AI训练速度平均提高34%，同时推理服务用户数量也可增加超过11.5倍。在此前的GTC2024大会上，英伟达正式发布了B200和GB200系列芯片。据黄仁勋介绍，B200拥有2080亿个晶体管，采用台积电4NP工艺制程，可以支持多达10万亿个参数的AI大模型，还通过单个GPU提供20petaflops的AI性能。...PC版：https://www.cnbeta.com.tw/articles/soft/1424907.htm手机版：https://m.cnbeta.com.tw/view/1424907.htm

三星与AMD签订价值30亿美元的HBM3E 12H供货协议

三星与AMD签订价值30亿美元的HBM3E12H供货协议这笔交易意义重大，因为如果分析师知道内存堆栈在AIGPU的物料清单中占多大比例，他们就能对AMD准备推向市场的AIGPU的数量有一定的了解。考虑到竞争对手英伟达（NVIDIA）几乎只使用SK海力士（Hynix）生产的HBM3E，AMD很可能已经为三星的HBM3E12H堆栈谈好了价格。随着英伟达的"Hopper"H200系列、"Blackwell"、AMD的MI350XCDNA3以及英特尔的Gaudi3生成式AI加速器的推出，AIGPU市场有望升温。三星于2024年2月首次推出了HBM3E12H内存。每个堆栈有12层，比第一代HBM3E增加了50%，每个堆栈的密度为36GB。AMDCDNA3芯片有8个这样的堆栈，包装上就有288GB内存。AMD预计将于2024年下半年推出MI350X。这款芯片的最大亮点是采用台积电4纳米EUV代工节点制造的全新GPU片，这似乎是AMD首次推出HBM3E12H的理想产品。...PC版：https://www.cnbeta.com.tw/articles/soft/1428467.htm手机版：https://m.cnbeta.com.tw/view/1428467.htm

三星将首秀36GB HBM3E内存：NVIDIA H200单卡就有216GB

三星将首秀36GBHBM3E内存：NVIDIAH200单卡就有216GBNVIDIAH200AI加速卡将首发采用三星36GBHBM3E，只需要八颗，就能达成6144-bit的位宽、216GB的容量，从而超过192GBHBM3内存的AMDInstinctMI300X。H200还支持四路、八路互连，因此单系统的HBM3E内存容量可以达到864GB、1728GB！按照惯例，NVIDIA可能会出于良品率的考虑，屏蔽一小部分容量，但是单卡超过200GB、单系统超过1.6TB必然是很轻松的。按照NVIDIA的说法，H200虽然还是Hopper架构，但相比H100再次飞跃，700亿参数Llama2、1750亿参数GTP-3模型的推理性能分别提升多达90％、60％，对比前代A100HPC模拟性能直接翻番。NVIDIAH200计划2024年第二季度出货，三星36GBHBM3E则会在第一季度投入量产，正好赶得上。...PC版：https://www.cnbeta.com.tw/articles/soft/1422775.htm手机版：https://m.cnbeta.com.tw/view/1422775.htm

英伟达和AMD的下一代人工智能GPU将主要搭配HBM3内存

英伟达和AMD的下一代人工智能GPU将主要搭配HBM3内存关于HBM3内存，有一个普通的细节不为很多人所知。正如TrendForce所强调的那样，HBM3将以不同的形式出现。据报道，低端HBM3将以5.6至6.4Gbps的速度运行，而高端变体将超过8Gbps。高端变体将被称为"HBM3P、HBM3A、HBM3+和HBM3Gen2"。机构预计，HBM行业的市场份额必将大幅上升，而SK海力士则处于领先地位。预计未来的人工智能GPU，如AMDMI300InstinctGPU和英伟达的H100，都将采用下一代HBM3工艺，而SKHynix在这方面占据了先机，因为它已经进入了制造阶段，并收到了英伟达本身的样品请求。美光（Micron）最近也宣布了其未来的HBM4内存设计计划，但预计要到2026年才会实现，因此即将推出的代号为"GB100"的英伟达BlackwellGPU很可能会采用速度更快的HBM3变体，时间大约在2024-2025年之间。采用第五代工艺技术（10纳米）的HBM3E内存预计将于2024年上半年开始量产，三星/SK海力士预计都将加紧生产。SKhynix率先推出12层HBM3内存，每层24GB容量，向客户提供样品三星和美光（Micron）等竞争对手也在加足马力，有多篇报道都围绕着这两家公司。据说，三星建议英伟达通过其部门负责晶圆和内存的采购。与此同时，据报道美光已与台积电合作，成为英伟达人工智能GPU的内存供应商。在之前的报道中，我们根据TrendForce披露的数据讨论了人工智能产业的前景。据预测，从2023年到2027年，人工智能服务器出货量预计将增长15.4%，复合年增长率（CAGR）预计为12.2%。出货量的大幅增长最终将导致公司之间的竞争加剧，最终推动创新。...PC版：https://www.cnbeta.com.tw/articles/soft/1374607.htm手机版：https://m.cnbeta.com.tw/view/1374607.htm