通义千问发布首个MoE模型Qwen1.5-MoE-A2.7B
通义千问今天发布Qwen1.5-MoE-A2.7B,性能可与当前公认最先进的7B开源模型相媲美,训练成本更低,推理速度更快!Qwen1.5-7B包含65亿个Non-Embedding参数,Qwen1.5-MoE-A2.7B只有20亿个Non-Embedding参数,仅为前者的1/3。相比Qwen1.5-7B,Qwen1.5-MoE-A2.7B的训练成本降低了75%,推理速度则提升了1.74倍。Qwen1.5-MoE模型系列现已在ModelScope社区开源,包括:Qwen1.5-MoE-A2.7B-Chat:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-ChatQwen1.5-MoE-A2.7B-Chat-GPTQ-Int4:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4Qwen1.5-MoE-A2.7B:https://modelscope.cn/models/qwen/Qwen1.5-MoE-A2.7Bvia匿名标签:#通义千问#AI频道:@GodlyNews1投稿:@GodlyNewsBot