Poly：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。主要提供：为多个本地LLM模型提供高性能、高效和可靠的服务可选择通过CUDA或Metal进行GPU加速可配置的LLM完成任务（提示、召回、停止令牌等）通过HTTPSSE流式传输完成响应，使用WebSockets聊天使用JSON模式对完成输出进行有偏差的采样使用向量数据库（内置文件或Qdrant等外部数据库）进行记忆检索接受PDF和DOCX文件并自动将其分块存储到内存中使用静态API密钥或JWT标记确保API安全简单、单一的二进制+配置文件服务器部署，可水平扩展附加功能：用于轻松测试和微调配置的Web客户端用于本地运行模型的单二进制跨平台桌面客户端

Google：引领AI推理工作量的是CPU而非GPU

Google：引领AI推理工作量的是CPU而非GPU人工智能的生命周期分为两个部分：训练和推理。在训练过程中，需要大量的计算能力和巨大的内存容量，以便将不断扩大的人工智能模型装入内存。最新的模型，如GPT-4和Gemini，包含数十亿个参数，需要数千个GPU或其他加速器并行工作，才能高效地进行训练。另一方面，推理所需的计算强度较低，但仍能从加速中获益。在推理过程中，会对预先训练好的模型进行优化和部署，以便对新数据进行预测。虽然推理所需的计算量比训练少，但延迟和吞吐量对实时推理至关重要。Google发现，虽然GPU是训练阶段的理想选择，但模型通常在CPU上进行优化和推理。这意味着，有些客户出于各种原因选择CPU作为人工智能推理的媒介。这可能是成本和可用性的问题。与高端GPU或专门的人工智能加速器相比，CPU往往更便宜，也更容易获得。对于许多应用而言，CPU能以较低的成本提供足够的推理性能。CPU还具有灵活性。由于大多数系统已经配备了CPU，它们为较小的人工智能模型提供了便捷的部署途径。GPU通常需要专门的库和驱动程序，而基于CPU的推理可以利用现有的基础设施。这使得将人工智能集成到现有产品和工作流程中变得更加简单。延迟和吞吐量的权衡也会发挥作用。GPU擅长大规模并行推理吞吐量。但CPU通常可以为实时请求提供更低的延迟。对于需要亚秒级响应的在线推荐等应用，CPU推理可能是首选。此外，CPU对推理的优化进展迅速。在更快的时钟、更多的内核以及英特尔AVX-512和AMX等新指令的推动下，性能不断提高，仅靠CPU就能流畅运行人工智能工作负载，如果服务器配置了不止一个插槽，意味着有更多的人工智能引擎存在，服务器就能高效处理数十亿参数大小的人工智能模型，则性能尤其出色。英特尔指出，一般来说，参数不超过200亿的模型在CPU上可以正常运行，而更大的模型则必须使用专门的加速器。像GPT-4、Claude和Gemini这样的人工智能模型都是庞大的模型，参数规模可达一万亿以上。然而，它们是多模式的，也就是说，它们处理文本和视频。现实世界中的企业工作负载可能是一个人工智能模型推断公司的本地文档，以回答客户支持问题。对于这种解决方案来说，运行GPT-4这样的模型就显得多余了。相比之下，像LLAMA2或Mistral这样小得多的模型可以很好地实现类似目的，而不需要第三方API访问，只需在本地或云服务器上运行几个CPU即可。这就降低了总体拥有成本（TCO），简化了人工智能管道。...PC版：https://www.cnbeta.com.tw/articles/soft/1422284.htm手机版：https://m.cnbeta.com.tw/view/1422284.htm

H100推理飙升8倍 英伟达官宣开源TensorRT-LLM，支持10+模型

H100推理飙升8倍英伟达官宣开源TensorRT-LLM，支持10+模型“GPU贫民”即将告别困境！刚刚，英伟达发布了一款开源软件TensorRT-LLM，能够加速H100上大型语言模型的推理。那么，具体能提升多少倍？在添加了TensorRT-LLM及其一系列优化功能后（包括In-Flight批处理），模型总吞吐量提升8倍。PC版：https://www.cnbeta.com.tw/articles/soft/1382811.htm手机版：https://m.cnbeta.com.tw/view/1382811.htm

libLLM: 专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。

:专为在普通个人电脑和移动设备上高效推理大型语言模型（LLM）而设计的开源项目。核心使用C++14编写，没有第三方依赖（BLAS、SentencePiece等），能在各种设备中无缝运行。特点为日常设备进行优化：libLLM经过优化，可在常见的个人电脑上平稳运行，确保大型语言模型的强大功能面向更广泛的用户。C++代码：采用标准C++14编写，简单高效。无外部依赖：核心功能无需第三方依赖（BLAS、SentencePiece等），所需的GEMM内核均在内部实现(avx2、avx512)。支持CUDA：支持使用CUDA加速推理。

可扩展的轻量级一站式训练、推理深度学习框架。它集成了各种高效的微调方法，如LoRA、QLoRA、阿里云自研的ResTuning-

可扩展的轻量级一站式训练、推理深度学习框架。它集成了各种高效的微调方法，如LoRA、QLoRA、阿里云自研的ResTuning-Bypass等，以及开箱即用的训练推理脚本，使开发者可以在单张商业级显卡上微调推理LLM&AIGC模型。此外，SWIFT与PEFT完全兼容，使开发者可以在ModelScope模型体系中使用PEFT的能力。目前支持的方法：LoRA：Adapter：Prompt:Side:ResTuning-Bypass所有在上提供的tuners主要能力：可以通过model-id使SWIFT或PEFT的方法使用ModelScopeHub中的模型在单次训练或推理中可以使用多个tuners支持调用activate_adapter或deactivate_adapter或set_active_adapters来使部分tuner激活或失活，用户可以在推理时同时加载多个独立的tuners在不同线程中并行使用。#框架

OpenDiT 一个专门用来加速类似Sora的DiT架构模型推理和训练的项目，GPU 加速高达 80%，内存减少 50%。#ai

OpenDiT一个专门用来加速类似Sora的DiT架构模型推理和训练的项目，GPU加速高达80%，内存减少50%。主要特点有：GPU加速高达80%，内存减少50%，内核优化包括FlashAttention、FusedAdaLN、FusedLayernorm内核。FastSeq：一种新颖的序列并行方法，专为激活大小较大但参数大小较小的类似DiT的工作负载而设计。使用方便，通过一些生产线更改即可获得巨大的性能提升，用户不需要了解分布式训练的实现。支持文本到图像和文本到视频生成的完整流程。项目地址：