苹果开源 OpenELM 系列语言模型

苹果在HuggingFace上最新推出了OpenELM系列语言模型。OpenELM总共有8个模型，包括270M、450M、1.1B和3B这四个参数规模（分为预训练版和指令微调版）。它们使用了总计约1.8万亿个token的多个公共数据集。目前，OpenELM的代码、预训练模型权重以及训练和评估流程全部开放。标签:#Apple#AI频道:@GodlyNews1投稿:@GodlyNewsBot

上海交大发布大模型推理框架PowerInfer-2，手机可流畅运行

上海交大发布大模型推理框架PowerInfer-2，手机可流畅运行上海交大IPADS实验室推出了PowerInfer-2.0，一款面向智能手机的大模型推理引擎，显著提升了在内存有限的设备上运行大型语言模型的能力。该框架通过动态神经元缓存和以神经元簇为粒度的异构计算技术，实现了与开源推理框架相比高达29倍的推理速度提升。此外，团队还使用高质量、多样化的训练数据，让模型在稀疏化后更好地保持和提升性能。同时，该技术不仅适用于手机，还有望扩展到车载设备和智能家居等领域。上海交大IPADS团队已在Huggingface上开放了稀疏化的模型权重，预示着该技术有望从实验室走向实际应用。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

AO 发布 “AI on AO” 计划，推出链上开源大语言模型

AO发布“AIonAO”计划，推出链上开源大语言模型AO生态系统发布“AIonAO”计划，推出链上开源大语言模型（LLMs），旨在将任何AI模型（不仅仅是LLMs）带到链上。基于ApusNetwork，利用Arweave的永久链上存储，构建一个去中心化、无信任的GPU网络，致力于为AI训练和推理提供可靠、高效和低成本的计算能力。AO上的AI数据可通过ArDrive上传到Arweave的模型。

Google 发布开源大语言模型 Gemma

Google发布开源大语言模型Gemma谷歌今天宣布推出Gemma，这是一个新的轻量级开源大语言模型系列。现在Gemma2B和Gemma7B两个模型已经可用，每个尺寸都发布了经过预训练和指令调整的变体。谷歌同时提供了多项工具以便快速部署该模型，包括开箱即用的Colab实例，可快速部署的容器镜像，以及和其它流行开发工具的集成。Gemma模型也能够直接在开发人员笔记本电脑或台式计算机上运行。根据谷歌的技术报告，该模型在多个测试中超越的Llama2等开源模型。这些新模型“受到Gemini的启发”，使用与其相似的架构，并被许可用于商业和研究用途。此外，谷歌还发布了一个新的负责任的生成式AI工具包，以提供“使用Gemma创建更安全的人工智能应用程序的指导和基本工具”以及调试工具。——,,

Databricks开源DBRX高性能大语言模型

开源DBRX高性能大语言模型DBRX是Databricks开发的开源通用语言模型，在多项标准基准测试上达到了当前开源语言模型的最高水平。DBRX在多项综合基准测试中表现最好，尤其在编程和数学推理方面优于其他开源模型。与开源模型相比，DBRX在MMLU数据集上的表现也是最好的。根据测试，DBRX甚至超过了专门用于编程的CodeLLAMA-70B，并且与商业模型GPT-3.5相当甚至略胜。DBRX也与Gemini1.0Pro和MistralMedium等商业模型有竞争力。DBRX使用混合专家(MoE)架构，使其在训练和推理上更加高效。与类似参数量的非MoE模型相比，DBRX的推理吞吐量提高2-3倍。DBRX的整体训练效率比之前提高了近4倍，这得益于更好的数据、MoE架构以及其他改进。DBRX已经在Databricks的GenAI产品中进行了集成，客户可以通过API使用该模型。DBRX的训练代码和模型也在HuggingFace平台上开源。DBRX证明了Databricks可以高效地训练世界级的基础语言模型，也为企业训练自己的基础模型提供了能力。DBRX只是Databricks协助客户训练定制语言模型的一个例子。

腾讯开源了个新项目embedx。 embedx是基于 c++ 开发的、完全自研的分布式 embedding 训练和推理框架。它目

腾讯开源了个新项目embedx。embedx是基于c++开发的、完全自研的分布式embedding训练和推理框架。它目前支持图模型、深度排序、召回模型和图与排序、图与召回的联合训练模型等目前已经在腾讯的多个产品上应用。已经实现的模型：十亿级节点、千亿级边的图模型百亿级样本、百亿特征的深度排序、召回模型十亿级节点、千亿级边与百亿级样本、百亿特征的图与深度排序、图与深度召回的联合建模模型