Hugging Face 和 ServiceNow 发布免费代码生成模型 StarCoder

HuggingFace和ServiceNow发布免费代码生成模型StarCoderAI创业公司HuggingFace和ServiceNow发布了免费的代码生成模型。类似DeepMind的AlphaCode、亚马逊的CodeWhisperer和GitHub的Copilot(基于OpenAI的Codex)，StarCoder使用ApacheLicense2.0许可证，允许任何人免费使用，但严格意义上不是开源模型，它禁止用户使用该模型生成或传播恶意代码。StarCoder使用了开源代码数据集TheStack训练，有150亿参数。其数据集包括了逾80种不同编程语言和来自githubissues和commits的文本。#AI来源，https://github.com/bigcode-project/starcoder来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

Meta 推出 LLM Compiler 代码优化模型，可搭配其他 AI 改善代码生成 / 编译能力

Meta推出LLMCompiler代码优化模型，可搭配其他AI改善代码生成/编译能力Meta前天推出了一款名为“LLMCompiler”的模型，该模型基于Meta现有的CodeLlama打造，主打代码优化，目前相关模型已登陆HuggingFace，提供70亿参数及130亿参数两个版本，允许学术及商业使用。Meta认为，尽管业界各大语言模型已在各种编程代码任务中展现了出色的能力，但此类模型在代码优化还有进步空间，目前推出的LLMCompiler模型便是一款专为优化代码任务设计的预训练模型，能够模拟编译器对代码进行优化，或将“已经过优化的代码转换回原本的语言”。LLMCompiler在 5460亿个LLVM-IR和汇编代码标记的庞大语料库上进行了训练，据称能够达到77%的“代码优化潜力”，开发者可以自由将相关模型配合其他 AI 模型一起使用，从而改善生成代码的质量。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

英伟达开源 3400 亿参数模型 Nemotron-4 340B

英伟达开源3400亿参数模型Nemotron-4340B当地时间6月14日，英伟达开源Nemotron-4340B（3400亿参数）系列模型。据英伟达介绍，开发人员可使用该系列模型生成合成数据，用于训练大型语言模型(LLM)，用于医疗保健、金融、制造、零售和其他行业的商业应用。Nemotron-4340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token（文本单位）进行训练。Nemotron-4340B-Base在常识推理任务，如ARC-c、MMLU和BBH基准测试中，可以和Llama-370B、Mixtral8x22B和Qwen-272B模型媲美。

【英伟达宣布生成式AI引擎DGX GH200已投入量产，可支持万亿参数AI大模型训练】

【英伟达宣布生成式AI引擎DGXGH200已投入量产，可支持万亿参数AI大模型训练】2023年05月29日09点36分5月29日消息，美东时间5月28日，英伟达创始人兼CEO黄仁勋在NVIDIAComputex2023演讲中宣布，生成式AI引擎NVIDIADGXGH200现已投入量产。英伟达官网显示，NVIDIADGXGH200是将256个NVIDIAGraceHopper超级芯片完全连接到单个GPU中的新型AI超级计算机，支持万亿参数AI大模型训练。能够处理大规模推荐系统、生成式人工智能和图形分析，并为巨型人工智能模型提供线性可扩展性。

近日，英伟达开源Nemotron-4340B（3400亿参数）系列模型。开发人员可使用该系列模型生成合成数据，用于训练大型语言模

近日，英伟达开源Nemotron-4340B（3400亿参数）系列模型。开发人员可使用该系列模型生成合成数据，用于训练大型语言模型(LLM)，用于医疗保健、金融、制造、零售和其他行业的商业应用。Nemotron-4340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token（文本单位）进行训练。Nemotron-4340B-Base在常识推理任务，如ARC-c、MMLU和BBH基准测试中，可以和Llama-370B、Mixtral8x22B和Qwen-272B模型媲美。（英伟达网站，每经网）