NVIDIA找到新摇钱树:加速卡靠ChatGPT轻松稳赚50亿

NVIDIA找到新摇钱树:加速卡靠ChatGPT轻松稳赚50亿集邦咨询估计,生成式AI对于GPU计算卡的需求量在2万块左右,未来将达到3万块。这其中受益最多的,自然是NVIDIA,其旗舰级计算卡A100已经在为ChatGPT默默服务,有估算需要3万块才能满足ChatGPT当前的访问量。A100计算卡单块售价8-9万元左右,3万块就是大约25个亿。但它往往不是单卖的,而是以DGXA100服务器整套方案的方式销售,每套八块计算卡,算力高达5PFlops(每秒5千万亿次浮点计算),相当于前几年的一套大型超级计算机,是大规模数据分析、AI加速计算的几乎不二之选。DGXA100服务器单套售价约20万美元,3万块卡下来就是大约7.5亿美元,相当于人民币超过50亿元。当然,AMD也有MI100、MI200系列加速卡,今年还会推出CPU+GPU融合的全新MI300,算力也很强,但市场份额远不如NVIDIA。另外,有数据显示,GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型,训练成本介于200万美元至1200万美元之间。DGXA100服务器...PC版:https://www.cnbeta.com.tw/articles/soft/1347371.htm手机版:https://m.cnbeta.com.tw/view/1347371.htm

相关推荐

封面图片

机构:部署 Sora 需要72万片英伟达加速卡 价值216亿美元

机构:部署Sora需要72万片英伟达加速卡价值216亿美元3月27日消息,市场调查机构FactorialFunds近日发布报告,认为OpenAI部署文本转视频模型Sora,在峰值期需要72万片英伟达H100AI加速卡。如果按照每片英伟达H100AI加速卡3万美元成本计算,72万片需要216亿美元。而这仅仅只是H100加速卡的成本。FactorialFunds预估训练Sora1个月,需要使用4200到10500片英伟达H100AI加速卡,如果使用单片H100加速卡,生成1分钟视频需要渲染12分钟。——、

封面图片

NVIDIA H100 AI加速卡一卡难求 成本3千美元 卖3.5万美元

NVIDIAH100AI加速卡一卡难求成本3千美元卖3.5万美元微博网友“饭统戴老板”分析了一下H100的物料硬件成本,并结合相关数据资料,提出了一些有趣的观点。H100的物料成本(BOM)包括核心逻辑芯片、HBM内存芯片、CoWoS封装三大部分,还有PCB电路板、其他元器件等。H100核心逻辑芯片的面积为814平方毫米,采用台积电4N工艺制造(5nm+),该节点下一块300mm晶圆的报价为1.34万美元,面积大约70695平方毫米,理论上能切割80多颗H100,再结合良率、损耗,就算65颗好了,单颗价格200美元左右。HBM3内存芯片来自韩国SK海力士,一共六颗,单颗容量16GB,而每GB价格大约15美元,合计1500美元左右——是的,比核心芯片贵多了。CoWoS封装来自台积电技术,成本不详,但台积电财报称CoWoS工艺的营收占比为7%,客户只有NVIDIA、AMD,分析师RobertCastellano据此推算制造一颗H100需要723美元左右。三者合计约2500美元(台积电拿走约1000美元),再加上其他物料合计在3000美元左右。也就是说,H100的毛利率超过了90%!正是在H100、A100、A800等加速卡产品的带动下,NVIDIA今年二季度的毛利率已经达到了恐怖的70%。当然,这只是纯硬件成本,而比硬件更珍贵的是软件,是生态,这才是NVIDIA真正无敌的地方,这才是无论Intel还是AMD都难以企及的地方。人人都知道CUDA的强大与好用,而这正是NVIDIA几十年如一日砸下数百亿研发资金的成果。目前,NVIDIA在全球有超过2万名软硬件工程师。刨除各种成本,NVIDIA的净利率依然有30-40%左右,这就是本事!...PC版:https://www.cnbeta.com.tw/articles/soft/1379823.htm手机版:https://m.cnbeta.com.tw/view/1379823.htm

封面图片

1530亿晶体管死磕NVIDIA AMD MIX300X加速卡功耗达750W

1530亿晶体管死磕NVIDIAAMDMIX300X加速卡功耗达750W根据AMD官方材料的备注信息,可以看到MI300X的功耗达到了惊人的750W!相比之下,当前这一代的MI250X典型功耗500W,峰值功耗560W,制造工艺则都是6nm。当下最火爆的NVIDIAA100制造工艺为7nm,SXM版本的功耗400W,PCIe版本的功耗250-300W。NVIDIAH100用上了最先进的4nm,PCIe版本功耗就有700W。AMD还有个MIX300A,号称全球首款面向HPC、AI的APU加速器,整合了24个Zen4CPU核心、CDNA3GPU核心、128GBHBM3内存,总计1460亿个晶体管,功耗不详,应该会比MI300X略低一些。...PC版:https://www.cnbeta.com.tw/articles/soft/1365657.htm手机版:https://m.cnbeta.com.tw/view/1365657.htm

封面图片

NVIDIA被传遭微软两次砍单 AMD最强AI加速卡虎口夺食

NVIDIA被传遭微软两次砍单AMD最强AI加速卡虎口夺食AMDMI300系列包括GPU加速器MI300X、CPU+GPU融合加速器MI300A,后者是独家技术,性能都非常突出,部分指标已经远远超过NVIDIA竞品,而且按照惯例价格更低。AMD的发布会上,除了Google、亚马逊两大巨头之外,微软、甲骨文、Meta(Facebook)、戴尔、惠普、联想、超威等都纷纷站台支持,相关产品也第一时间出炉。AMDMI300X已经出货,MI300A也投入量产,预计能满足行业对于AI大模型训练推理的需求。NVIDIA目前在AI加速市场上握有90%的份额,但产品价格与成本越来越高,让很多大企业也吃不消,都在寻求替代解决方案,AMDMI300系列无疑是目前的最佳选择,除了ROCm开发生态相比CUDA还差太多,迁移是个麻烦。AMD现在预计,2023年数据中心AI加速器市场规模可达450亿美元,年复合增长率超过70%,2027年可超4000亿美元,比此前预计的300亿美元、50%、1500亿美元大大增加。在这个市场上,AMD即便只拿下10%的份额,也是每年几百亿美元的收入。不过也有观点认为,微软连续砍单是在等待NVIDIA明年将要推出的下一代芯片B100,会升级3nm工艺、Blackwell架构,性能可达目前H200的两倍以上。...PC版:https://www.cnbeta.com.tw/articles/soft/1403895.htm手机版:https://m.cnbeta.com.tw/view/1403895.htm

封面图片

机构预估:部署 Sora 需要 72 万片英伟达加速卡,价值 216 亿美元

机构预估:部署Sora需要72万片英伟达加速卡,价值216亿美元市场调查机构FactorialFunds近日发布报告,认为OpenAI部署文本转视频模型Sora,在峰值期需要72万片英伟达H100AI加速卡。如果按照每片英伟达H100AI加速卡3万美元成本计算,72万片需要216亿美元(当前约1561.68亿元人民币)。而这仅仅只是H100加速卡的成本,想要运行必然消耗大量的电力,每片H100功耗为700W,72万片就是504000000W。FactorialFunds预估训练Sora1个月,需要使用4200到10500片英伟达H100AI加速卡,如果使用单片H100加速卡,生成1分钟视频需要渲染12分钟。

封面图片

AMD战略“放弃”游戏卡 MI300X AI加速卡最快速度赚到1亿美元

AMD战略“放弃”游戏卡MI300XAI加速卡最快速度赚到1亿美元NVIDIA目前在AI加速卡市场上处于近乎垄断地位,毕竟硬件强大,软件生态也好用,但受制于有限的产能、高昂的价格,不少客户开始寻找替代方案,Intel、AMD都是可选项,尤其是AMDInstinct系列硬件越来越强大,开发平台也逐渐成熟起来。MI300X是纯GPU加速卡,拥有史无前例的额530亿个晶体管,配备多达192GBHBM3内存,已于第三季度出样,寄托了AMD极大的期望。它还有个衍生版本MI300A,是全球首款面向HPC、AI的APU融合加速卡,集成24个Zen4CPU核心和数量不明的CDNA3GPU核心,总计1460亿个晶体管,还有128GBHBM3,Socket独立封装,已经供货客户。与NVIDIA类似的是,AMD也把GPU产能优先分配给了Instinct系列。至于游戏卡,RX7900XTX可能会是很长一段时间AMD的卡皇,或许有升级版RX7950系列,但是下一代RX8000系列将不会有旗舰卡。AMDCEO苏姿丰表示,数据中心GPU将在2023年第四季度给AMD带来约4亿美元的收入,2024年随着大量产品铺货,收入将超过20亿美元。这得卖多少游戏卡才能赚到啊!...PC版:https://www.cnbeta.com.tw/articles/soft/1393985.htm手机版:https://m.cnbeta.com.tw/view/1393985.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人