Meta 发布 Llama 3 —— 迄今最强大的公开语言模型

Meta发布Llama3——迄今最强大的公开语言模型Llama3的8B和70B型号拥有8K上下文窗口，经过15Ttokens预训练，训练数据比Llama2大了七倍，并且包含四倍多的代码。其中Llama3-8B的性能就已优于Llama2-70B。人类择优测试中Llama3-70B远胜于Claude3Sonnet、MistralMedium和GPT-3.5。Llama3的多模态和更大的版本将在数月内推出，其中最为强大的Llama3-400B+仍在训练中，三天前的基准测试结果已经持平Claude3Opus超过GeminiPro1.5，仅数学落后最先进的GPT-4-2024-04-09。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

Meta称其LLaMA语言模型比OpenAI的GPT-3更有前景

Meta称其LLaMA语言模型比OpenAI的GPT-3更有前景LLaMA有多种尺寸，从70亿个参数到650亿个参数不等。Meta方面称，尽管LLaMA-13B的尺寸较小，而且少了1620亿个参数，但“在大多数基准测试中”表现优于OpenAI的GPT-3。据报道，最大的模型LLaMA-65B与DeepMind的Chinchilla70B和PaLM-540B等模型可相提并论。LLaMA是一个基础模型:它在大量未标记数据上进行训练，这使得研究人员更容易针对特定任务微调模型。由于模型更小，因此更容易针对用例进行再训练。LLaMA不仅仅是使用英语文本构建的。Meta使用20种使用拉丁语或西里尔语脚本的语言训练其模型。然而，大多数训练数据都是英语，因此模型性能更好。Meta的研究人员声称，由于模型的大小，对当前大型语言模型的访问受到限制。Meta认为“这种受限访问限制了研究人员理解这些大型语言模型如何工作以及为何工作的能力，阻碍了提高其稳健性和解决已知问题（例如偏见、侮辱和产生错误信息的可能性）的努力”。除了使模型更小之外，Meta还试图让LLaMA更易于访问，包括在非商业许可下发布它。对各种LLaMA模型的访问权限只会根据具体情况授予学术研究人员，例如隶属于政府、民间组织和学术界的研究人员。与ChatGPT一样，LLaMA与其他语言模型一样存在生成有偏见或不准确的信息。Meta的LLaMA声明承认了这一点，并表示通过共享模型，研究人员可以“更轻松地测试新方法来限制或消除大型语言模型中的这些问题。”Meta在去年5月曾推出一款面向研究人员的名为OPT-175B的大型语言模型，去年年底还发布过另一款模型Galactica，但后者被发现经常分享有偏见或不准确的信息，在48小时内被迅速下架。...PC版：https://www.cnbeta.com.tw/articles/soft/1346899.htm手机版：https://m.cnbeta.com.tw/view/1346899.htm

Meta 确认其 Llama 3 开源大型语言模型将于下个月推出

Meta确认其Llama3开源大型语言模型将于下个月推出在4月9日于伦敦举行的一次活动中，Meta确认计划在下个月内首次发布Llama3，这是用于驱动生成式人工智能助手的下一代大型语言模型。Meta全球事务总裁NickClegg说：“在接下来的一个月内，实际上更短，我们希望开始推出我们的新一代模型套件Llama3。”他的描述听起来像是要发布该产品的几个不同迭代或版本。“今年[发布]的不同版本，将有许多不同的模型具有不同的功能，而且很快就会开始。”Meta首席产品官ChrisCox补充说，该计划将通过Llama3为Meta的多种产品提供动力。——

Meta确认其Llama 3开源大语言模型将于下个月推出

Meta确认其Llama3开源大语言模型将于下个月推出Meta公司全球事务总裁尼克-克莱格（NickClegg）说："我们希望在下个月内，甚至更短的时间内，开始推出我们新的下一代基础模型套件Llama3。"他的描述听起来像是要发布该产品的几个不同迭代或版本。"今年内，我们将发布一系列具有不同功能、不同通用性的模型，很快就会开始发布。"Meta首席产品官ChrisCox补充说，计划用Llama3支持Meta的多个产品。一年多前，OpenAI推出了ChatGPT，并将人工智能生成式问答变成了日常的主流体验，这让Meta和Google等其他大型科技公司措手不及。Meta公司在人工智能方面基本上采取了非常谨慎的态度，但这并没有得到公众的认可，以前版本的Llama被批评为能力过于有限。(Llama2于2023年7月公开发布）。第一版Llama并未对外发布，但仍在网上泄露）。与前几代产品相比，Llama3的功能更强大，不仅能更准确地回答问题，还能回答更广泛的问题，其中可能包括更具争议性的话题。该公司希望这将使产品受到用户的欢迎。"随着时间的推移，我们的目标是让由Llama驱动的MetaAI成为世界上最有用的助手，"人工智能研究副总裁JoellePineau说。"要达到这个目标，还有相当多的工作要做。"该公司没有谈及《Llama3》中使用的参数的大小，也没有提供它将如何工作的任何演示。预计它将拥有约1400亿个参数，而最大的Llama2型号只有700亿个参数。最值得注意的是，Meta的Llama系列是作为开源产品构建的，代表了一种不同的哲学方法，即人工智能作为一种更广泛的技术应如何发展。与专有模式相比，Meta希望通过这种方式获得更多开发者的青睐。但Meta似乎也在谨慎行事，尤其是在文本生成之外的其他生成式人工智能方面。皮诺说，公司尚未发布图像生成工具Emu。考克斯说："延迟、安全性和易用性都非常重要，只有这样才能生成令你自豪的图像，并代表你的创意背景。"具有讽刺意味的是，或者可以说是意料之中的，即使在Meta公司努力推出Llama3的同时，公司内部也有一些对生成式人工智能持怀疑态度的重要人士。兼任Meta首席人工智能科学家的著名人工智能学者YannLeCun对生成式人工智能的整体局限性进行了抨击，并表示他将赌注押在生成式人工智能之后。他预测这将是联合嵌入式预测架构（JEPA），这是一种训练模型和产生结果的不同方法，Meta公司一直在使用这种方法在图像生成领域构建更准确的预测性人工智能。"人工智能的未来是JEPA。它不是生成式人工智能，"他说。"我们得给克里斯的产品部门改个名字"。...PC版：https://www.cnbeta.com.tw/articles/soft/1426784.htm手机版：https://m.cnbeta.com.tw/view/1426784.htm