Meta宣布推出Llama 2(羊驼2) 提供7B~70B模型 开源免费可商用

Meta宣布推出Llama2(羊驼2)提供7B~70B模型开源免费可商用今天Meta发布Llama2也就是羊驼2模型，提供7B、13B和70B参数版本，该模型开源、免费、可商用，这也是为什么最近一段时间有大量新模型出现，对开源社区来说，只要有高质量模型被开源出来，那接下来就是社区成员登场，微调、优化、定制、整合，然后就可以生成更多模型了。羊驼2预训练模型接受了2万亿个tokens的训练，上下文长度是Llama1的两倍，是的其上下文长度从2048提升到了4096，其微调模型接受了超过100万个人类标注的训练。根据MetaAI研究团队的测试，羊驼2在不少测试中表现都比较优异(相对其他开源模型)，包括推理、编程、熟练程度和知识测试。(需要提供Email地址)来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

MAmmoTH：专门为解决通用数学问题而定制的开源大语言模型。

MAmmoTH：专门为解决通用数学问题而定制的开源大语言模型。MAmmoTH模型结合了CoT和PoT两种思维方式，使其能够更全面地解决各种数学问题（从基础算术到高等数学）。在九个数学推理数据集上显著超越了现有的开源模型，平均准确率提高了13%到29%。MAmmoTH在一个精心策划的指导调优数据集MathInstruct上进行训练，MathInstruct从13个带有中间理由的数学数据集中编译而来，其中六个是由作者新策划的。MAmmoTH基于LLaMa2和CodeLlama训练的数学领域的开源LLM，有7B、13B、34B、70B四个版本。MAmmoTH的工作原理是通过混合指导调优方法，结合两种不同的思维方式，训练模型来解决各种数学问题。这种方法确保了模型在各种数学领域都有很好的表现，并且在实际应用中也取得了显著的性能提升。

Poe 宣布添加 Meta 的 Llama 2 聊天机器人

Poe宣布添加Meta的Llama2聊天机器人Poe添加了三个基于Llama2的新机器人：Llama-2-70b、Llama-2-13b和Llama-2-7b。建议使用70b，因为它提供最高质量的响应。它明显优于上周许多人测试的7b和13b型号。来源：https://twitter.com/poe_platform/status/1684362717459812352投稿：@ZaiHuaBot频道：@TestFlightCN

帮开发者构建生成式 AI 应用，Meta 和微软合作推出开源模型 Llama 2

帮开发者构建生成式AI应用，Meta和微软合作推出开源模型Llama2Meta和微软近日合作推出Llama2，这是Meta公司的下一代开源大型语言模型，可以免费用于研究和商业用途。微软在新闻稿中表示，Llama2旨在帮助开发者和组织，构建生成式人工智能工具和体验。Azure客户可以在Azure平台上更轻松、更安全地微调和部署7B、13B和70B参数的Llama2模型，此外通过优化可以在Windows本地运行。Llama2模型与AzureAI的结合使开发人员能够利用AzureAI的强大工具进行模型训练、微调、推理，特别是支持AI安全的功能。微软表示在Windows中加入Llama2模型，有助于推动Windows成为开发人员根据客户需求构建人工智能体验的最佳场所，并释放他们使用WindowsSubsystemforLinux(WSL)、Windows终端、MicrosoftVisualStudio和VSCode等世界级工具进行构建的能力。——、、

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF

作为当下最受欢迎的开源AI大模型解决方案，GitHub上一个开源项目Colossal-AI建立了一整套完整的RLHF流程，包括：监督数据集收集->监督微调->奖励模型训练->强化学习微调。并且，技术团队以LLaMA为基础预训练模型，正式推出了ColossalChat，这也是目前最接近ChatGPT原始技术方案的实用开源项目。该项目包括但不限于以下功能：-Demo：可直接在线体验模型效果，无需注册或waitinglist；-训练代码：开源完整RLHF训练代码，已开源至含7B和13B两种模型；-数据集：开源104K中、英双语数据集；-推理部署：4bit量化推理70亿参数模型仅需4GB显存；-模型权重：仅需单台服务器少量算力即可快速复现；-更大规模模型、数据集、其他优化等将保持高速迭代添加。目前，相关代码已开源至GitHub，感兴趣的同学可以看下。项目还有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发。

数学能力超ChatGPT 70B开源大模型火了

数学能力超ChatGPT70B开源大模型火了并且是在参数只有700亿，远不及后三者的情况之下。HuggingFace已上线3个在线可玩版本（分别为7B、13B和70B参数），各种数学题可以直接丢进去试一试。比如解决下面这道四次多项式方程：或者是一道简单的微积分：亦或者是稍微修改过的拉格朗日方程推导：它都全部正确（过程也不需要等太久）。有网友向作者表示：效果真的很惊人，感谢你们对开源LLM的贡献。目前，相关代码、复现方式以及论文也都开源或上线，GitHub短短几天已揽获4.8k标星。那么，WizardMath究竟是如何做到的？用AI生成的指令增强大模型能力OpenAI的大模型（InstructGPT、GPT-4等）能够取得巨大成功、去执行各种复杂和多样化的任务，一部分原因是使用了真实人类用户生成的开放域指令数据进行了微调。然而，不是谁都能像这家公司一样获得这样的指令数据集。一是因为整个注释过程极其昂贵且耗时，二是人工难以创建出足够比例的高难度指令。因此，开发出一种成本相对较低的、大规模开放域指令自动生产方法，成为当下指令调优语言模型的关键。在此，作者将他们的方法命名为EvolInstruction。它是一种利用AI来代替人类自动生成涵盖各种难度级别开放域指令的新方法。具体而言，EvolInstruction分为指令进化器和指令消除器。其中指令进化器可通过深度进化（蓝线）或广度进化（红线）两种路径，将简单指令升级为更复杂的指令或创建一条全新指令。具体执行哪一条？随机选择就好。其中，深度进化的具体“进化法”，则是通过五种类型的操作来完成，包括：添加约束（addconstraints）、深化（deepening）、具体化（concretizing）、增加推理步骤（increasereasoningsteps）和使输入复杂化（complicateinput）。由于所有指令均由AI完成，有时难免会出现错误。因此，指令消除器就是用于过滤失败指令的。以下是一个具体示例，该方法从“1+1=？”开始，最终通过以上步骤自动生成了相当多的新指令。通过重复这一生成过程，最终我们就能得到足够多的指令，然后将它们合并并随机打乱，组成一个难度级别均匀分布的指令集，就可以对基础大模型进行微调了。在此，作者选择Alpaca的训练数据（仅由175条人工创建的种子指令生成）作为初始数据集，然后使用ChatGPT的API执行了四个进化周期，最终获得25万条指令。为了与Vicuna的70k真实用户数据（ShareGPT）进行公平比较，作者从这25万条数据中抽取了等量的样本，训练LLaMA7B模型，最终得到WizardLM，结果WizardLM的性能明显优于Vicuna。（Alpaca：斯坦福在LLaMa-7B基础上微调出来的模型；Vicuna，UC伯克利在LLaMa-13B的基础上微调得来）此外，在更为复杂的测试指令下，人类更喜欢WizardLM的输出，而非ChatGPT，这表明该方法可以显着提高LLM处理复杂指令的能力。基于此，作者又利用EvolInstruction生成了很多数学领域相关的指令，然后微调羊驼大模型，得到了WizardMath。其效果如开头所示，在GSM8k数据集上测得其数学能力超越包括ChatGPT、ClaudeInstant1、PaLM2-540B等一众大模型，位列第5名，仅次于GPT-4、Claud1.3和2.0，以及5400亿参数的Flan-PaLM2之后。以此类推，作者还在羊驼之上得到了专攻代码能力的WizardCoder，效果超越Claude和Bard（详情可戳文末地址）。团队介绍本文共9位作者，全华人。一作有3位：CanXu，微软亚洲互联网工程院S+DNLP组高级应用科学家，之前曾在微软小冰研究组和微软亚研院从事聊天机器人系统工作；QingfengSun，MicrosoftResearch科学家，研究方向为自然语言处理和信息检索，精通构建高效搜索系统，为MicrosoftBing和Office365贡献了核心深度模型；KaiZheng，MicrosoftResearch科学家，研究方向为自然语言处理、搜索和推荐排名，同样为MicrosoftBing和Office365贡献了核心深度模型。通讯作者为姜大昕，微软全球合伙人、副总裁、前微软亚洲研究院首席科学家，在微软工作16年有余、曾作为微软必应搜索引擎和Cortana智能助手自然语言理解负责人，日前已被曝离职投身大模型创业。另还有一位作者JiazhanFeng，是北大学生，这篇合著论文是TA在微软实习时产出的。项目主页：https://github.com/nlpxucan/WizardLM/tree/main/WizardMath...PC版：https://www.cnbeta.com.tw/articles/soft/1376959.htm手机版：https://m.cnbeta.com.tw/view/1376959.htm