NVIDIA H100 AI加速卡一卡难求成本3千美元卖3.5万美元

NVIDIAH100AI加速卡一卡难求成本3千美元卖3.5万美元微博网友“饭统戴老板”分析了一下H100的物料硬件成本，并结合相关数据资料，提出了一些有趣的观点。H100的物料成本(BOM)包括核心逻辑芯片、HBM内存芯片、CoWoS封装三大部分，还有PCB电路板、其他元器件等。H100核心逻辑芯片的面积为814平方毫米，采用台积电4N工艺制造(5nm+)，该节点下一块300mm晶圆的报价为1.34万美元，面积大约70695平方毫米，理论上能切割80多颗H100，再结合良率、损耗，就算65颗好了，单颗价格200美元左右。HBM3内存芯片来自韩国SK海力士，一共六颗，单颗容量16GB，而每GB价格大约15美元，合计1500美元左右——是的，比核心芯片贵多了。CoWoS封装来自台积电技术，成本不详，但台积电财报称CoWoS工艺的营收占比为7％，客户只有NVIDIA、AMD，分析师RobertCastellano据此推算制造一颗H100需要723美元左右。三者合计约2500美元(台积电拿走约1000美元)，再加上其他物料合计在3000美元左右。也就是说，H100的毛利率超过了90％！正是在H100、A100、A800等加速卡产品的带动下，NVIDIA今年二季度的毛利率已经达到了恐怖的70％。当然，这只是纯硬件成本，而比硬件更珍贵的是软件，是生态，这才是NVIDIA真正无敌的地方，这才是无论Intel还是AMD都难以企及的地方。人人都知道CUDA的强大与好用，而这正是NVIDIA几十年如一日砸下数百亿研发资金的成果。目前，NVIDIA在全球有超过2万名软硬件工程师。刨除各种成本，NVIDIA的净利率依然有30-40％左右，这就是本事！...PC版：https://www.cnbeta.com.tw/articles/soft/1379823.htm手机版：https://m.cnbeta.com.tw/view/1379823.htm

在Telegram中查看

相关推荐

NVIDIA H100加速卡疯了：史无前例120GB显存

NVIDIAH100加速卡疯了：史无前例120GB显存现在，我们看到了H100的两个新版本，一个搭配64GB，SXM5形态，显然是启用了六颗显存中的四颗。另一搭配94GB，SXM5版本，比满配版少了2GB，显然是屏蔽了其中一颗的部分单元，以提高瑕疵品利用率。另外，H100还有一个终极版本，将搭载疯狂的120GB，PCIe5.0x16形态，但不知道是干嘛用的，也不知道何时才会发布。...PC版：https://www.cnbeta.com.tw/articles/soft/1367489.htm手机版：https://m.cnbeta.com.tw/view/1367489.htm

NVIDIA最强显卡H100找到外援产能大增30%

NVIDIA最强显卡H100找到外援产能大增30%NVIDIA的高端GPU采用了台积电的7nm、5nm工艺代工，但是产能瓶颈不在先进工艺上，而是所用的Cowos先进封装上，此前也是依赖台积电，但后者的产能提升有限，还有AMD等公司的订单抢产能。最新消息称，联电也开始给NVIDIA提供外援了，7月份起每个月增加3000片晶圆的Cowos中介层产能，然后再有另一家封测大厂Amkor安靠封装，三方的合作使得A100、H100的整体产能提升了30%。供应量上来了，A100、H100等显卡的供应情况应该会有所缓解，下半年有望解决加价抢购的麻烦。H100基于GH100GPU核心，定制版台积电4nm工艺制造，800晶体管，集成18432个CUDA核心、576个张量核心、60MB二级缓存，支持6144-bitHBM高带宽内存，支持PCIe5.0。性能方面，FP64/FP3260TFlops(每秒60万亿次)，FP162000TFlops(每秒2000万亿次)，TF321000TFlops(每秒1000万亿次)，都三倍于A100，FP84000TFlops(每秒4000万亿次)，六倍于A100。...PC版：https://www.cnbeta.com.tw/articles/soft/1369081.htm手机版：https://m.cnbeta.com.tw/view/1369081.htm

NVIDIA找上Intel代工每月可产30万颗AI芯片

NVIDIA找上Intel代工每月可产30万颗AI芯片如果全部切割成H100芯片，在理想情况下最多能得到30万颗，可以大大缓解NVIDIA供应紧张的局面。作为对比，台积电在2023年年中已经可以每月生产最多8000块CoWoS晶圆，当时计划在年底提高到每月1.1万块，2024年底继续提高到每月2万块。NVIDIA旗下的几乎所有AI芯片，包括A100、A800、A30、H100、H800、GH200，全都依赖台积电CoWoS-S封装技术，基于65nm的硅中介层。与之最接近的就是IntelFoveros3D封装，基于22FFL工艺的中介层。有趣的是，就在日前，Intel宣布已经在美国新墨西哥州Fab9工厂实现了业界领先的半导体封装解决方案的大规模生产，其中就包括Foveros封装。Intel没有透露具体的产品，看起来很可能就是NVIDIAGPU。...PC版：https://www.cnbeta.com.tw/articles/soft/1415553.htm手机版：https://m.cnbeta.com.tw/view/1415553.htm

英伟达“中国特供版”H20 AI芯片综合算力比H100降80%

文件显示，新的H20拥有CoWoS先进封装技术，而且增加了一颗HBM3（高性能内存）到96GB，但成本也随之增加240美元；H20的FP16稠密算力达到148TFLOPS（每秒万亿次浮点运算），是H100算力的15%左右，因此需要增加额外的算法和人员成本等；NVLink则由400GB/s升级至900GB/s，因此互联速率会有较大升级。据评估，H100/H800是目前算力集群的主流实践方案。其中，H100理论极限在5万张卡集群，最多达到10万P算力；H800最大实践集群在2万-3万张卡，共计4万P算力；A100最大实践集群为1.6万张卡，最多为9600P算力。然而，如今新的H20芯片，理论极限在5万张卡集群，但每张卡算力为0.148P，共计近为7400P算力，低于H100/H800、A100。因此，H20集群规模远达不到H100的理论规模，基于算力与通信均衡度预估，合理的整体算力中位数为3000P左右，需增加更多成本、扩展更多算力才能完成千亿级参数模型训练。标签:#Nvidia#英伟达频道:@GodlyNews1投稿:@Godlynewsbot

机构预估：部署 Sora 需要 72 万片英伟达加速卡，价值 216 亿美元

机构预估：部署Sora需要72万片英伟达加速卡，价值216亿美元市场调查机构FactorialFunds近日发布报告，认为OpenAI部署文本转视频模型Sora，在峰值期需要72万片英伟达H100AI加速卡。如果按照每片英伟达H100AI加速卡3万美元成本计算，72万片需要216亿美元（当前约1561.68亿元人民币）。而这仅仅只是H100加速卡的成本，想要运行必然消耗大量的电力，每片H100功耗为700W，72万片就是504000000W。FactorialFunds预估训练Sora1个月，需要使用4200到10500片英伟达H100AI加速卡，如果使用单片H100加速卡，生成1分钟视频需要渲染12分钟。

英伟达第二次为中国特供加速卡H800

英伟达第二次为中国特供加速卡H800昨晚的GTC2023春季图形大会上，NVIDIA又确认为中国市场开发了第二个特供版H800，基于已有的H100调整而来，符合美政府的规定。NVIDIA没有透露H800的具体变化，外媒称和A800类似，将芯片间互连带宽缩减了一半，如果用于AI训练会消耗更长的时间。阿里巴巴、百度、腾讯BAT三巨头都已经用上了H800加速卡。H100加速卡采用全新的Hopper架构，GH100GPU核心，台积电4nm制造工艺、CoWoS2.5D封装技术，集成800亿个晶体管，核心面积814平方毫米。它拥有18432个CUDA核心、576个Tensor核心、60MB二级缓存，可搭配6144-bit位宽的六颗HBM3/HBM2e，总容量80GB，支持PCIe5.0、第四代NVLink总线。两种样式，其中SXM版本15872个CUDA核心、528个Tensor核心，显存带宽3.35TB/s，NVLink带宽900GB/s，PCIe5.0带宽128GB/s，热设计功耗最高700W。PCIe5.0版本14952个CUDA核心、456个Tensor核心，显存带宽2TB/s，NVLink带宽600GB/s，PCIe5.0带宽128GB/s，热设计功耗300-350W。目前尚不清楚中国特供的H800是哪种样式，猜测很可能是PCIe，那么NVLink互连带宽就只有300GB/s，PCIe5.0则应该不会缩水。A800规格表H100规格表：精简一下带宽就是H800H100加速卡...PC版：https://www.cnbeta.com.tw/articles/soft/1350665.htm手机版：https://m.cnbeta.com.tw/view/1350665.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人