Perplexity推出pplx-api，可快速访问开源大型语言模型如Mistral 7B、Llama2 13B等

Perplexity推出，可快速访问开源大型语言模型如Mistral7B、Llama213B等-pplx-api易于使用，开发者可以在几分钟内通过RESTAPI整合先进的开源模型。-pplx-api推理速度很快，比其他解决方案的延迟降低了2-3倍。-pplx-api基础设施经过验证，可以承载产品级流量。-pplx-api采用NVIDIATensorRT-LLM和AWSA100GPU等先进软硬件，实现了优化。-pplx-api已用于Perplexity的产品中，相比外部API每年节省了62万美元成本。-pplx-api兼容OpenAIAPI，可以轻松集成到现有应用中。-未来pplx-api将支持更多定制和开源模型。

LLM Engine：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式

：一个开源引擎，用于微调和提供大型语言模型的服务，是定制和提供LLM的最简单方式主要特征适用于你喜爱的模型的即用型API：部署和服务开源基础模型-包括LLaMA、MPT和Falcon。使用Scale托管模型或部署到您自己的基础设施。微调基础模型：根据您自己的数据微调开源基础模型，以优化性能。优化推理：LLMEngine提供推理API，用于流式响应和动态批处理输入，以实现更高的吞吐量和更低的延迟。开源集成：使用单个命令部署任何。即将推出的功能K8s安装文档：我们正在努力记录您自己的基础设施上推理和微调功能的安装和维护。目前，我们的文档涵盖了使用我们的客户端库访问Scale的托管基础​​设施。快速冷启动时间：为了防止GPU闲置，LLMEngine在不使用模型时会自动将模型缩放为零，并在几秒钟内扩展，即使对于大型基础模型也是如此。成本优化：部署人工智能模型比商业模型更便宜，包括冷启动和预热时间。

傻瓜式大语言模型微调训练教程_哔哩哔哩_bilibili

发现一个讲的很细的大语言模型微调教程，详细介绍了整个流程,包括数据准备、参数设置、资源监控等关键步骤。基本没有技术能力也可以完成微调。想要了解LLM原理的可以按这个实践一下。时间轴：0:00概念概览3:02自定义数据的准备8:17微调操作演示（T4版本）16:52微调操作演示（A100版本）19:13在HuggingFace上的保存与使用方法文字版整理：如何使用自己的数据对大语言模型进行微调(fine-tuning)：对大语言模型进行微调并不一定非常困难和昂贵。通过使用自己的数据集对预训练模型进行微调,可以让模型更好地适应特定的任务需求。微调过程能够在保留原模型语言理解能力的基础上,进一步提升其在特定领域或任务上的表现。使用HuggingFace模型库和Unslaw工具进行模型微调：HuggingFace提供了丰富的预训练语言模型资源,用户可以根据任务需求选择合适的模型作为基础进行微调。而Unslaw工具则提供了一套简单高效的微调流程,其优点包括出色的内存使用效率以及对扩展上下文窗口的支持。通过Unslaw,用户能够以较低的资源开销完成模型微调。在GoogleColab上使用免费/付费GPU资源进行微调：GoogleColab提供了免费和付费的GPU资源,用户可以根据任务的复杂程度选择使用T4或A100。对于大多数微调任务而言,免费的T4资源已经足够。但如果数据集较大或模型较为复杂,升级到A100可以获得更充裕的算力支持。Colab为用户提供了一个易于上手的模型微调环境。准备自定义的微调数据集：准备微调数据的过程并不复杂。用户可以直接使用纯文本文件作为数据来源,而无需进行额外的预处理。为了获得理想的微调效果,建议至少准备100-200个样本。在示例中,为了快速演示,仅使用了几个样本。通过一个简单的Python脚本,可以方便地将原始文本数据转换为微调所需的JSON格式。修改Colab笔记本中的参数设置：

Mistral Large 大语言模型发布

MistralLarge大语言模型发布MistralLarge是Mistral新的尖端文本生成模型。它达到了顶级的推理能力，可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。MistralLarge在常用基准测试中取得了优异的成绩，使其成为世界上排名第二的可通过API普遍使用的模型（仅次于GPT-4）。该模型也可以通过Azure直接调用。MistralLarge具有以下特点-支持英语、法语、西班牙语、德语和意大利语。-32K标记上下文窗口。-精确的指令遵循使开发人员能够设计他们的审核策略。-原生支持函数调用。Mistral还发布了一个新的优化模型MistralSmall，针对延迟和成本进行了优化，其性能优于Mixtral8x7B，并且延迟较低，这使其成为开源型号和旗舰型号之间的中间解决方案。——

Poly：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。

：用Rust编写的GPU加速语言模型(LLM)服务器，可高效提供多个本地LLM模型的服务。主要提供：为多个本地LLM模型提供高性能、高效和可靠的服务可选择通过CUDA或Metal进行GPU加速可配置的LLM完成任务（提示、召回、停止令牌等）通过HTTPSSE流式传输完成响应，使用WebSockets聊天使用JSON模式对完成输出进行有偏差的采样使用向量数据库（内置文件或Qdrant等外部数据库）进行记忆检索接受PDF和DOCX文件并自动将其分块存储到内存中使用静态API密钥或JWT标记确保API安全简单、单一的二进制+配置文件服务器部署，可水平扩展附加功能：用于轻松测试和微调配置的Web客户端用于本地运行模型的单二进制跨平台桌面客户端

Theta EdgeCloud 将于 Q2 推出，发布时将支持目前主流的 AI 模型

ThetaEdgeCloud将于Q2推出，发布时将支持目前主流的AI模型去中心化流媒体平台ThetaNetwork宣布其EdgeCloud服务即将于第二季度推出，届时将支持包括StableDiffusion、Llama2、Mistral等多种热门AI模型。AI开发者将能直接部署这些流行的生成AI和大型语言模型，或是部署他们自己的自定义模型。EdgeCloud将为用户提供即时访问关键GPU资源，如NVIDIAA100、V100、T4等，以及配套的仪表板和指标，以满足各种商业用例。