OpenDiT 一个专门用来加速类似Sora的DiT架构模型推理和训练的项目,GPU 加速高达 80%,内存减少 50%。#ai
OpenDiT一个专门用来加速类似Sora的DiT架构模型推理和训练的项目,GPU加速高达80%,内存减少50%。主要特点有:GPU加速高达80%,内存减少50%,内核优化包括FlashAttention、FusedAdaLN、FusedLayernorm内核。FastSeq:一种新颖的序列并行方法,专为激活大小较大但参数大小较小的类似DiT的工作负载而设计。使用方便,通过一些生产线更改即可获得巨大的性能提升,用户不需要了解分布式训练的实现。支持文本到图像和文本到视频生成的完整流程。项目地址:
在Telegram中查看相关推荐
🔍 发送关键词来寻找群组、频道或视频。
启动SOSO机器人