Mistral AI 开源 Mistral 8x22b 模型

Mistral AI 开源 Mistral 8x22B Moe 大模型

MistralAI开源Mistral8x22BMoe大模型MistralAI公司刚刚再次用磁力链接开源了一款大模型Mistral8x22B，模型文件大小为281.24GB。从模型的名字来看，Mistral8x22B是去年开源的「mixtral-8x7b」的超级大杯版本，参数规模增长三倍不止，由8个220亿参数规模(8×22B)的专家网络组成。磁力链接地址：magnet:?xt=urn:btih:9238b09245d0d8cd915be09927769d5f7584c1c9&dn=mixtral-8x22b&tr=udp%3A%2F%2Fopen.demonii.com%3A1337%2Fannounce&tr=http%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce——、

Mistral AI发布了新的开源模型Mixtral 8x22B。该模型以39B活跃参数实现141B参数规模，极大提升了模型规模

MistralAI发布了新的开源模型。该模型以39B活跃参数实现141B参数规模，极大提升了模型规模与成本效率。Mixtral8x22B支持英语、法语、意大利语、德语和西班牙语，并具有强大的数学和编程能力。其支持函数调用，可大规模实现应用开发和技术栈现代化。MistralAI坚信开源的力量，Mixtral8x22B以最宽松的Apache2.0许可证发布。MistralAIModels追求卓越的成本效率。Mixtral8x22B相较同规模模型，提供最佳的性能价格比。其稀疏激活可提升速度。Mixtral8x22B在推理、知识、多语言、编程、数学等多个基准测试上，表现优于其他开源模型。后续会发布指导版本，数学表现更佳。

Mistral 宣布最新开放大模型 Mixtral 8x22B

Mistral宣布最新开放大模型Mixtral8x22B法国AI创业公司Mistral宣布了其最新的开放大模型，公布的测试显示它是目前最先进的开放模型。Mistral称8x22B是真正开放的模型，使用Apache2.0许可证，允许任何人不受限制的使用。它是一种稀疏Mixture-of-Experts(SMoE)模型，有1410亿参数，但活跃参数仅为390亿，在其规模下提供了无与伦比的成本效率。Mixtral8x22B的优点包括：精通英语、法语、意大利语、德语和西班牙语，具有强大的数学和编码能力，原生能函数调用，64K令牌上下文窗口。来源，频道：@kejiqu群组：@kejiquchat

32K上下文，Mistral 7B v0.2基模型突然开源了

32K上下文，Mistral7Bv0.2基模型突然开源了这次开源的Mistral7Bv0.2BaseModel，是Mistral-7B-Instruct-v0.2背后的原始预训练模型，后者属于该公司的“MistralTiny”系列。此次更新主要包括三个方面：将8K上下文提到了32K；RopeTheta=1e6；取消滑动窗口。下载链接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar…更新之后的性能对比是这样的：场外观众迅速跟进。有人评价说：“Mistral7B已经是同尺寸级别中最好的模型，这次改进是一个巨大的进步。我将尽快在这个模型上重新训练当前的许多微调。”MistralAI的第一个7B模型发布于2023年9月，在多个基准测试中实现了优于Llama213B的好成绩，让MistralAI一下子就打出了知名度。这也导致目前很多开源大模型都已不再对标Llama2，而是将MistralAI旗下的各系列模型作为直接竞争对手。而Mistral7Bv0.2BaseModel对应的指令调优版本Mistral-7B-Instruct-v0.2在2023年12月就已开放测试，据官方博客介绍，该模型仅适用于英语，在MT-Bench上能够获得7.6分的成绩，逊于GPT-3.5。此次开放基础模型之后，开发者们就可以根据自己的需求对这个“当前最好的7B模型”进行微调了。不过，7B模型只能算是MistralAI众多惊艳成果中的一项。这家公司的长远目标是对标OpenAI。上个月底，MistralAI正式发布了“旗舰级”大模型MistralLarge。与此前的一系列模型不同，这一版本性能更强，体量更大，直接对标OpenAI的GPT-4。随着MistralLarge上线，MistralAI推出了名为LeChat的聊天助手，也实现了对标ChatGPT。而新模型的发布，也伴随着公司大方向的一次转型。人们发现，MistralLarge并不是一个开源大模型——有跑分、API和应用，就是不像往常一样有GitHub或是下载链接。与MistralLarge发布同时发生的，是MistralAI与微软达成了长期合作的协议，不仅会将MistralLarge引入Azure，还收获了微软1600万美元的投资。MistralAI对路透社表示，作为交易的一部分，微软将持有该公司少数股权，但未透露细节。未来，二者的合作主要集中在三个核心领域：超算基础设施：微软将通过AzureAI超级计算基础设施支持MistralAI，为MistralAI旗舰模型的AI训练和推理工作负载提供一流的性能和规模；市场推广：微软和MistralAI将通过AzureAIStudio和Azure机器学习模型目录中的模型即服务（MaaS）向客户提供MistralAI的高级模型。除OpenAI模型外，模型目录还提供了多种开源和商业模型。人工智能研发：微软和MistralAI将探索为特定客户训练特定目的模型的合作。当被问及公司是否正在改变其开源商业模式时，MistralAI联合创始人ArthurMensch在采访中表示：“我们从开源模式开始，任何人都可以免费部署，因为这是广泛分发它们并创造需求的一种方式。但从一开始，我们就提供了一种具有优化模型的商业模式，这让使该公司能够为模型开发所需的昂贵研究提供资金。”参考链接：https://twitter.com/MistralAILabs/status/1771670765521281370首届中国具身智能大会（CEAI2024）即将于2024年3月30日至31日在上海徐汇西岸美高梅酒店举行。本次大会由中国人工智能学会（CAAI）主办，CAAI具身智能专委会（筹）、同济大学、中国科学院计算技术研究所、上海交通大学、中国经济信息社上海总部联合承办，全球高校人工智能学术联盟协办，机器之心独家AI媒体合作。盛会将为具身智能领域的学术与产业界搭建一个交流合作的顶级平台，以广泛促进学术分享与交流、产业合作与互动，推动产学研联动发展，提升我国具身智能技术的研究与应用水平。...PC版：https://www.cnbeta.com.tw/articles/soft/1424820.htm手机版：https://m.cnbeta.com.tw/view/1424820.htm

IBM宣布在watsonx上提供开源Mistral AI模型

IBM宣布在watsonx上提供开源MistralAI模型这有可能将延迟时间缩短35-75%，具体取决于批量大小--加快洞察时间。这是通过一个称为量化的过程实现的，该过程减少了LLM的模型大小和内存需求，反过来又能加快处理速度，有助于降低成本和能耗。Mixtral-8x7B的加入扩展了IBM的开放式多模型战略，以满足客户的需求，为他们提供选择和灵活性，从而在其业务中扩展企业人工智能解决方案。通过数十年的人工智能研发、与Meta和HuggingFace的开放合作以及与模型领导者的合作，IBM正在扩展其watsonx.ai模型目录，并引入新的功能、语言和模式。IBM的企业就绪基础模型选择及其watsonx人工智能和数据平台可以帮助客户利用生成式人工智能获得新的洞察力和效率，并基于信任原则创建新的业务模式。IBM可帮助客户为金融等目标业务领域的正确用例和性价比目标选择正确的模型。Mixtral-8x7B采用了稀疏建模（一种创新技术，只查找和使用数据中最重要的部分，以创建更高效的模型）和专家混合技术（Mixture-of-Experts）的组合，后者将擅长并解决不同部分问题的不同模型（"专家"）结合在一起。Mixtral-8x7B模型因其能够快速处理和分析海量数据，提供与背景相关的见解而广为人知。IBM软件公司产品管理与增长高级副总裁KareemYusuf博士说："客户要求有选择性和灵活性，以便部署最适合其独特用例和业务要求的模型。通过在watsonx上提供Mixtral-8x7B和其他模型，我们不仅为他们提供了部署人工智能的可选性，还为人工智能构建者和业务领导者提供了一个强大的生态系统，使他们能够利用工具和技术推动不同行业和领域的创新。"本周，IBM还宣布在watsonx上提供由ELYZA公司开源的日本LLM模型ELYZA-japanese-Llama-2-7b。IBM还在watsonx上提供Meta的开源模型Llama-2-13B-chat和Llama-2-70B-chat以及其他第三方模型，未来几个月还将提供更多。...PC版：https://www.cnbeta.com.tw/articles/soft/1422447.htm手机版：https://m.cnbeta.com.tw/view/1422447.htm

5 个法国人拼凑而成的 AI 击败数十亿美元的硅谷模型