传英伟达正在开发120GB HBM2e显存的Hopper H100 PCIe加速卡

传英伟达正在开发120GBHBM2e显存的HopperH100PCIe加速卡近日有消息称，英伟达正在开发一款HopperH100PCIe加速卡，特点是具有高达120GB的HBM2e显存。截至目前，该公司已经发布了两个版本的HopperH100GPU，分别是SXM5和PCIe板型。虽然两款SKU都配备了80GBVRAM，但前者用上了全新的HBM3标准、而后者仍为HBM2e。PC版：https://www.cnbeta.com/articles/soft/1320781.htm手机版：https://m.cnbeta.com/view/1320781.htm

NVIDIA H100 AI加速卡一卡难求 成本3千美元 卖3.5万美元

NVIDIAH100AI加速卡一卡难求成本3千美元卖3.5万美元微博网友“饭统戴老板”分析了一下H100的物料硬件成本，并结合相关数据资料，提出了一些有趣的观点。H100的物料成本(BOM)包括核心逻辑芯片、HBM内存芯片、CoWoS封装三大部分，还有PCB电路板、其他元器件等。H100核心逻辑芯片的面积为814平方毫米，采用台积电4N工艺制造(5nm+)，该节点下一块300mm晶圆的报价为1.34万美元，面积大约70695平方毫米，理论上能切割80多颗H100，再结合良率、损耗，就算65颗好了，单颗价格200美元左右。HBM3内存芯片来自韩国SK海力士，一共六颗，单颗容量16GB，而每GB价格大约15美元，合计1500美元左右——是的，比核心芯片贵多了。CoWoS封装来自台积电技术，成本不详，但台积电财报称CoWoS工艺的营收占比为7％，客户只有NVIDIA、AMD，分析师RobertCastellano据此推算制造一颗H100需要723美元左右。三者合计约2500美元(台积电拿走约1000美元)，再加上其他物料合计在3000美元左右。也就是说，H100的毛利率超过了90％！正是在H100、A100、A800等加速卡产品的带动下，NVIDIA今年二季度的毛利率已经达到了恐怖的70％。当然，这只是纯硬件成本，而比硬件更珍贵的是软件，是生态，这才是NVIDIA真正无敌的地方，这才是无论Intel还是AMD都难以企及的地方。人人都知道CUDA的强大与好用，而这正是NVIDIA几十年如一日砸下数百亿研发资金的成果。目前，NVIDIA在全球有超过2万名软硬件工程师。刨除各种成本，NVIDIA的净利率依然有30-40％左右，这就是本事！...PC版：https://www.cnbeta.com.tw/articles/soft/1379823.htm手机版：https://m.cnbeta.com.tw/view/1379823.htm

英伟达第二次为中国特供加速卡H800

英伟达第二次为中国特供加速卡H800昨晚的GTC2023春季图形大会上，NVIDIA又确认为中国市场开发了第二个特供版H800，基于已有的H100调整而来，符合美政府的规定。NVIDIA没有透露H800的具体变化，外媒称和A800类似，将芯片间互连带宽缩减了一半，如果用于AI训练会消耗更长的时间。阿里巴巴、百度、腾讯BAT三巨头都已经用上了H800加速卡。H100加速卡采用全新的Hopper架构，GH100GPU核心，台积电4nm制造工艺、CoWoS2.5D封装技术，集成800亿个晶体管，核心面积814平方毫米。它拥有18432个CUDA核心、576个Tensor核心、60MB二级缓存，可搭配6144-bit位宽的六颗HBM3/HBM2e，总容量80GB，支持PCIe5.0、第四代NVLink总线。两种样式，其中SXM版本15872个CUDA核心、528个Tensor核心，显存带宽3.35TB/s，NVLink带宽900GB/s，PCIe5.0带宽128GB/s，热设计功耗最高700W。PCIe5.0版本14952个CUDA核心、456个Tensor核心，显存带宽2TB/s，NVLink带宽600GB/s，PCIe5.0带宽128GB/s，热设计功耗300-350W。目前尚不清楚中国特供的H800是哪种样式，猜测很可能是PCIe，那么NVLink互连带宽就只有300GB/s，PCIe5.0则应该不会缩水。A800规格表H100规格表：精简一下带宽就是H800H100加速卡...PC版：https://www.cnbeta.com.tw/articles/soft/1350665.htm手机版：https://m.cnbeta.com.tw/view/1350665.htm

AMD最强APU Stirx Halo霸气现身：史无前例128GB内存

AMD最强APUStirxHalo霸气现身：史无前例128GB内存最新的一份货运清单首先是显示，StirxHalo会采用SocketFP11封装接口，功耗释放可高达120W，同时搭配了多达128GB板载内存。这可是个新的纪录，之前的类似记录都只有32GB、64GB。考虑到LPDDR5X内存单颗最大容量为16GB，这里就需要多达8颗。根据泄露资料，StirxHalo内存支持256-bit位宽、LPDDR5X-8000频率，但不同于苹果M1系列、IntelLunarLake，并不会和处理器整合封装在一起，而是单独板载。StirxHalo将会采用类似桌面处理器的chiplet设计，包含两颗CCD、一颗SoCDie，最多16个CPU核心、40个GPU核心，图形性能有说法声称能媲美移动版RTX4070，但此处存疑。...PC版：https://www.cnbeta.com.tw/articles/soft/1435896.htm手机版：https://m.cnbeta.com.tw/view/1435896.htm

AMD MI300X在大模型推理上可以与Nvidia H100相媲美

AMDMI300X在大模型推理上可以与NvidiaH100相媲美RunPod在Mixtral7x8B上运行了一系列基准测试，并将AMD的性能与Nvidia的H100进行了比较总结：-MI300X在小批量和大批量（1、2、4和256、512、1024）下的表现均优于H100SXM。-MI300X具有较低的第一个令牌延迟，尽管差异很小（36.89ms对55.24ms）。-无论批量大小，MI300X通常都比H100更具成本效益。同时由于MI300X拥有更大的显存，因此可以运行Mixtral7x8B等单个H100无法容纳的大型模型ViaDeemo关注频道@ZaiHuaPd频道爆料@ZaiHuabot

价值30万 NVIDIA最强AI GPU H100用来跑游戏会怎么样

价值30万NVIDIA最强AIGPUH100用来跑游戏会怎么样友媒极客湾最近搞到了四块PCIe版本的H100，目前价值高达30万元，我们就拉看看用它玩游戏会怎么样。PCIeH100并不是满血的，只开放了14952个CUDA核心、456个张量核心、5120-bit位宽，搭配80GBHBM3，带宽高达2TB/s。由于是面向数据中心，它自身没有风扇，而是需要依靠系统散热，为此不得不加装了一个特制的涡轮风扇来散热，足以对付350WTDP。由于是专供AI、HPC计算用途，它也没有视频输出接口，为此不得不搭配第二块卡专门负责输出，让系统和驱动识别它也费了一番功夫。顺带一提，H100只设计了24个ROP光栅单元(RTX4090160个)，在处理图形渲染上很容易出现瓶颈。经过测试，H1003DMarkTimeSpy测试图形得分为2681，甚至还不如Radeon680M这样的核显。实际游戏里也经常出现个位数的帧率，即便一直100％满载也是如此，但功耗倒是不高，从未超过100W，温度也很低。当然，这一切都在预料之中，毕竟，术业有专攻。...PC版：https://www.cnbeta.com.tw/articles/soft/1366217.htm手机版：https://m.cnbeta.com.tw/view/1366217.htm