谷歌发布开源 AI 大模型 Gemma 称其性能在同等规模中最为先进

谷歌发布开源AI大模型Gemma称其性能在同等规模中最为先进当地时间周三（2月21日），科技巨头谷歌发布了新一代开源模型“Gemma”，公司称其是轻量级中“最先进的”开放模型系列，超越了原本最强的Mistral7B。目前，Gemma系列有两种权重规模的模型，分别为“Gemma2B”和“Gemma7B”，即20亿参数和70亿参数，以满足开发人员的不同需求。谷歌在新闻稿中写道，Gemma2B和7B与其他开放模型相比，展现出在同等参数规模中最先进的性能，甚至超过了一些更大的模型，这得益于与公司最强的AI模型Gemini共享技术和基础架构。

5 个法国人拼凑而成的 AI 击败数十亿美元的硅谷模型

5个法国人拼凑而成的AI击败数十亿美元的硅谷模型lmsys竞技场(公众盲测选优)更新排名后令人大开眼界，MistralMedium将曾经世界第二的Claude系列模型拉下宝座，与师出同门的Mistral8x7b一同霸榜。世界前十如今被OpenAI、Anthropic、Google、Mistral四家公司包揽，Mistral是其中唯一一家开源实验室。据推测，MistralMedium可能是一个8x30b的专家混合模型，比第一的GPT-4Turbo便宜约3.5倍，但尚未开源。已开源的Mistral8x7b在一个月内已经成为性能热度双最高的社区模型。投稿：@TNSubmbot频道：@TestFlightCN

ChatGPT 参数规模被扒：只有 7B

南加州大学最新研究使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来。果然，OpenAI不Open，自有别人帮他们Open。具体来说，南加大团队三位作者破解出了未公布的gpt-3.5-turbo嵌入向量维度（embeddingsize）为4096或4608。而几乎所有已知的开源大模型如Llama和Mistral，嵌入向量维度4096的时候都是约7B参数规模。其它比例的话，就会造成网络过宽或过窄，已被证明对模型性能不利。因此南加大团队指出，可以推测gpt-3.5-turbo的参数规模也在7B左右，除非是MoE架构可能不同。via匿名标签:#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

Google加入开源战局 低配版Gemma相当于OpenAI把GPT-3开源了

Google加入开源战局低配版Gemma相当于OpenAI把GPT-3开源了怎么理解这个动作的重要性呢？你可以粗暴的理解为：这有点像现在正在训练更强大的GPT-5的OpenAI，把GPT3的低参数版给开源了。（前几天SamAltman被问过这个问题，你们是否会在未来把GPT3开源，他没有直接回答。现在看来Google针对性很强啊。）（X上一张有意思的图）根据Google官方对Gemma的介绍，它的基本信息如下：Gemma是Google开源的一个大型语言模型，而非像Gemini那样是多模态的，它基于与Gemini相同的技术构建，但完全公开并允许商用授权。Gemma模型有两个主要版本，分别是Gemma7B（70亿参数）和Gemma2B（20亿参数）。这些模型在大规模的数据集上进行了训练，数据集包含了以英语为主的网络文档、数学数据以及代码数据，总量达到了6万亿tokens。Gemma模型的特点包括：架构细节：Gemma模型具有不同的参数规模，Gemma-2B有18层，d_model为2048，而Gemma-7B有28层，d_model为3072。这些模型还具有不同的前馈隐藏维度、头数和KV头数，以及词汇量。新技术：Gemma采用了一些新技术，如Multi-QueryAttention、RoPEEmbeddings、GeGLU激活函数以及NormalizerLocation，这些技术有助于提高模型的性能。评测结果：Google官方宣称Gemma模型在70亿参数规模的语言模型中表现最佳，甚至超过了一些参数量更大的模型。开源情况：Gemma模型遵循一个自定义的开源协议，允许商业使用。发布完，JeffDean就对这个系列模型划了重点：Gemma-7B模型在涵盖通用语言理解、推理、数学和编程的8项基准测试中，性能超过了广泛使用的Llama-27B和13B模型。它在数学/科学和编程相关任务上，通常也超过了Mistral7B模型的性能。Gemma-2BIT和Gemma-7BIT这两个经过指令调整的模型版本，在基于人类偏好的安全评估中，都优于Mistral-7Bv0.2指令模型。特别是Gemma-7BIT模型在遵循指令方面也表现更佳。（有意思的是，在Google晒出的成绩对比中，阿里的千问背后的模型Qwen系列表现也很亮眼）我们也发布了一个负责任的生成性人工智能工具包（ResponsibleGenerativeAIToolkit），它为负责任地使用像Gemma模型这样的开放模型提供了资源，包括：关于设定安全政策、安全调整、安全分类器和模型评估的指导。学习可解释性工具（LearningInterpretabilityTool，简称LIT），用于调查Gemma的行为并解决潜在问题。一种构建具有最小样本量的强大安全分类器的方法论。我们发布了两个版本的模型权重：Gemma2B和Gemma7B。每个版本都提供了预训练和指令调整的变体。我们为所有主要框架提供了推理和监督式微调（SFT）的工具链：通过原生Keras3.0支持的JAX、PyTorch和TensorFlow。提供了即用型的Colab和Kaggle笔记本，以及与流行的工具如HuggingFace、MaxText、NVIDIANeMo和TensorRT-LLM的集成，使得开始使用Gemma变得简单。预训练和指令调整的Gemma模型可以在您的笔记本电脑、工作站或GoogleCloud上运行，并且可以轻松部署在VertexAI和GoogleKubernetesEngine（GKE）上。在多个AI硬件平台上的优化确保了行业领先的性能，包括NVIDIAGPU和GoogleCloudTPUs。使用条款允许所有规模的组织负责任地进行商业使用和分发。可以看到JeffDean和Google这次都十分强调开源模型的安全性和具体的实打实的配套设施和举措。这似乎也直至被诟病CloseAI且被外界质疑安全性保障的OpenAI。现在，憋坏了的Google正式四面开战了。未来它将用Gemma对抗Llama，用Gemini对抗GPT。无论是开源还是闭源，竞争越来越焦灼了。相关文章:Google发布了一对开源人工智能模型Gemma2B和7B适用于较小的任务...PC版：https://www.cnbeta.com.tw/articles/soft/1419839.htm手机版：https://m.cnbeta.com.tw/view/1419839.htm

Google 宣布辅助编程用的开放大模型 CodeGemma

Google宣布辅助编程用的开放大模型CodeGemmaGoogle宣布了辅助编程用的开放大模型，模型权重可以在上下载。CodeGemma是基于Google今年2月发布的轻量级开放大模型Gemma，针对Gemma的两个不同参数规模的版本Gemma2B和Gemma7B发布了CodeGemma2B和CodeGemma7B（有预训练和指令微调两种）。来源，频道：@kejiqu群组：@kejiquchat

OpenAI新GPT-4 Turbo模型已可使用 四项能力提升

OpenAI新GPT-4Turbo模型已可使用四项能力提升不过更强大的能力同时也意味着更长的响应时间与更高的成本，对于预算有限的项目来说，这也是一个重要的考虑因素。据悉，OpenAI在4月10日正式发布了GPT-4Turbo，用户可以根据需求构建自己的GPT。GPT-4Turbo和GPT-4的主要区别在于几个方面：上下文窗口：GPT-4Turbo拥有更大的上下文窗口，可以处理高达128K个token，而GPT-4的上下文窗口较小。模型大小：GPT-4Turbo的模型大小为100B参数，这意味着它可以处理更多信息，生成更复杂和细腻的输出，而GPT-4的模型大小为10B参数。知识截止日期：GPT-4Turbo的训练数据包含到2023年4月的信息，而GPT-4的数据截止于2021年9月，后来扩展到2022年1月。成本：对于开发者来说，GPT-4Turbo的使用成本更低，因为它的运行成本对OpenAI来说更低。功能集：GPT-4Turbo提供了一些新功能，如JSON模式、可复现输出、并行函数调用等。总的来说，GPT-4Turbo的更新更重要的是完善了功能，增加了速度，准确性是否提高仍然存疑。这或许与整个大模型业界目前的潮流一致：重视优化，面向应用。而有可能再次颠覆AI领域的GPT-5，预计将在夏季推出。...PC版：https://www.cnbeta.com.tw/articles/soft/1427055.htm手机版：https://m.cnbeta.com.tw/view/1427055.htm