128k上下文+多语言+工具：Cohere开放企业级应用大模型Command R+

128k上下文+多语言+工具：Cohere开放企业级应用大模型Cohere推出CommandR+模型，一个为应对企业级工作负载而构建的最强大、最具可扩展性的大型语言模型(LLM)。-CommandR+首先在MicrosoftAzure上推出，旨在加速企业AI的采用。它加入了Cohere的R系列LLM，专注于在高效率和强准确性之间取得平衡，使企业能从概念验证走向生产。-CommandR+具有128ktoken的上下文窗口，旨在提供同类最佳的性能，包括：-先进的检索增强生成(RAG)和引用，以减少幻觉-支持10种关键语言的多语言覆盖，以支持全球业务运营-工具使用，以实现复杂业务流程的自动化-CommandR+在各方面都优于CommandR，在类似模型的基准测试中表现出色。-开发人员和企业可以从今天开始在Azure上访问Cohere的最新模型，很快也将在Oracle云基础设施(OCI)以及未来几周内的其他云平台上提供。CommandR+也将立即在Cohere的托管API上提供。-Atomicwork等企业客户可以利用CommandR+来改善数字工作场所体验，加速企业生产力。思考：-Cohere推出CommandR+，进一步丰富了其企业级LLM产品线，展现了其在企业AI市场的雄心和实力。与微软Azure的合作有望加速其企业客户的拓展。-CommandR+在CommandR的基础上进行了全面升级，128ktoken的上下文窗口、多语言支持、工具使用等特性使其能够胜任更加复杂多样的企业应用场景。这表明Cohere对企业需求有着深刻洞察。-RAG和引用功能有助于提高模型输出的可靠性，减少幻觉，这对于企业级应用至关重要。可以看出Cohere在兼顾性能的同时，也非常重视模型的可控性。-与微软、甲骨文等云计算巨头合作，使CommandR+能够在多个主流云平台上快速部署，降低了企业的采用门槛。这种开放的生态策略有利于加速其市场渗透。-Atomicwork等企业客户的支持表明CommandR+具有显著的商业价值。将LLM与企业数字化转型相结合，有望催生更多创新性的应用。-CommandR+的推出标志着Cohere在企业级AI市场的发力，其强大的性能和完善的生态有望帮助其在竞争中占据优势地位。不过，企业AI的落地仍面临数据安全、伦理合规等诸多挑战，Cohere还需要在这些方面持续投入。

IBM推出Granite生成式人工智能功能和模型

IBM推出Granite生成式人工智能功能和模型IBM几乎没有提供有关Granite的详细信息，因此无法将这些模型与竞争对手的LLM（包括IBM自己的LLM）进行比较。但该公司声称，它将在2022年第三季度推出Granite系列模型之前，披露用于训练该模型的数据，以及用于过滤和处理这些数据的步骤。希望该公司能做到这一点。在Watsonx.ai（Watsonx的组件，可让客户在部署后测试、部署和监控模型）的其他部分，IBM正在推出TuningStudio，这是一款允许用户根据自己的数据定制生成式人工智能模型的工具。利用TuningStudio，IBMWatsonx的客户可以对模型进行微调，以适应新任务，只需100到1000个示例。一旦用户指定了任务并提供了所需数据格式的标注示例，他们就可以通过IBM云的API部署模型。Watsonx.ai即将推出的还有表格数据（关系数据库中的行和列集合）合成数据生成器。IBM在一份新闻稿中称，通过从自定义数据模式和内部数据集生成合成数据，公司可以使用生成器提取洞察力，用于人工智能模型的训练和微调，同时"降低风险"。目前还不清楚"降低风险"的确切含义，因为使用合成数据训练人工智能存在一系列隐患。IBM还将在Watsonx.data中推出新的生成式人工智能功能，该公司的数据存储允许用户访问数据，同时应用查询引擎、治理、自动化以及与现有数据库和工具的集成。从2023年第四季度开始，作为技术预览的一部分，客户将能够通过一个类似聊天机器人的自助服务工具，为人工智能"发现、增强、可视化和完善"数据。IBM对具体细节再次语焉不详。但能够想象的是一种类似于ChatGPT的体验，尽管它以数据可视化和转换为重点。IBM表示，大约在同一时间（2023年第四季度），Watsonx.data将获得矢量数据库功能，以支持检索增强生成（RAG）。RAG是一个人工智能框架，通过将模型建立在外部知识源的基础上，提高LLM生成的响应质量，这对IBM的企业客户来说显然非常有用。在其他重大新闻方面，IBM正在进行Watsonx.governance的技术预览，这是一个工具包--用该公司相当含糊的话说--提供了保护客户隐私、检测模型偏差和漂移以及帮助组织满足道德标准的机制。从下周开始，IBM将推出智能修复（IntelligentRemediation）功能，该公司表示，该功能将利用生成式人工智能模型来帮助IT团队总结事件并提出工作流程建议，以帮助实施解决方案。IBM产品高级副总裁DineshNirmal在一份新闻稿中说："正如watsonx平台在推出后短短几个月内不断发展所证明的那样，我们将在整个人工智能生命周期内为客户提供支持。作为转型合作伙伴，IBM正在与客户合作，帮助他们以安全、可信的方式扩展人工智能--从帮助他们建立数据战略的基础要素，到为他们的特定业务用例调整模型，再到帮助他们管理模型。"当然，IBM也面临着压力，需要证明自己能够在拥挤的人工智能领域有所作为。在公司第二财季，IBM公布的营收不及分析师预期，原因是公司基础设施业务部门的增长放缓幅度超过预期。营收缩减至154.8亿美元，同比下降0.4%，略低于分析师一致预期的第二季度销售额155.8亿美元。在财报电话会议上，IBM首席执行官阿尔文德-克里希纳（ArvindKrishna）反复强调了人工智能对IBM未来增长的重要性，并断言企业正在以健康的速度签约使用IBM的混合云和人工智能技术，包括Watsonx。克里希纳说，截至7月Watsonx开始推出时，已有150多家企业客户在使用Watsonx，其中包括三星和花旗。"我们将继续满足客户寻求值得信赖的企业人工智能解决方案的需求，我们对最近推出的Watsonx人工智能平台的反响尤为兴奋。最后，我们对今年全年的收入和自由现金流增长预期仍然充满信心，"克里希纳在财报电话会议上说。...PC版：https://www.cnbeta.com.tw/articles/soft/1382305.htm手机版：https://m.cnbeta.com.tw/view/1382305.htm

OpenAI CTO深度访谈 剧透GPT-5发布时间

OpenAICTO深度访谈剧透GPT-5发布时间OpenAICTO穆拉提分享OpenAI近况与AI行业动向。穆拉提在达特茅斯学院（图源：达特茅斯学院）在这场访谈中，穆拉提分享了自己从航天行业、汽车行业、VR/AR再到加入OpenAI的丰富职业生涯，并根据自己在行业最前沿的所见所闻，分析了AI治理、AI对教育的影响、AI对工作的影响等问题。她在访谈中透露，明年或后年就会出现博士水平的智能系统，这或许指的就是GPT-5。她更是抛出一个极具争议性的观点，有些创意工作本不该存在，而AI很快便会取代这些职位。这一观点在网上引发轩然大波，认为OpenAI吃了饭就砸锅，并不理解创造力意味着什么。穆拉提认为OpenAI的成就离不开深度神经网络、大量数据和大量算力这3个因素的叠加，虽然他们还在研究背后的原理，但实践证明深度学习真的行得通。她称AI安全和AI能力是一体两面的，聪明的模型才能理解我们给它设定的护栏。从工程的角度上来看，AI能力的提升并不会降低模型的安全性。OpenAI对模型的安全性负有很大责任，但要实现风险的有效管控，社会和政府的参与也是必不可少的。OpenAI正积极与政府和监管机构合作，共同解决AI安全问题。在场的观众也向穆拉提抛出了尖锐的问题。穆拉提在回应观众对于模型价值观的问题时提到，OpenAI目前已经通过人类反馈强化学习将人类价值观融入AI系统，但未来的重点会是在基础价值体系上，给客户提供高度定制化的模型价值体系。观众还就OpenAI最近的侵权疑云和内容创作者的许可和补偿问题询问穆拉提的看法。穆拉提再次强调OpenAI并未刻意模仿斯嘉丽的声音，她挑选声音的决策过程是完全独立的。至于版权内容，OpenAI目前在尝试以聚合数据池的形式，让创作者提供版权内容到数据池中，整体评估创意内容对模型表现的贡献，并给予相应的报酬。但这一技术颇具难度，实际落地还需要一段时间。与OpenAICEO萨姆·阿尔特曼（SamAltman）不同，穆拉提之前的公众认知度较低。她在1998年出生于阿尔巴尼亚，之后到加拿大和美国求学。她2018年便加入OpenAI，是OpenAI的早期成员之一。作为OpenAI的CTO，她领导了OpenAI在ChatGPT、DALL·E、Codex和Sora方面的工作，同时还监管公司的研究、产品和安全团队。微软首席执行官萨蒂亚·纳德拉（SatyaNadella）评价穆拉提时说到，她既具备技术专长，也颇有商业头脑，并对OpenAI的使命有深刻认识。以下是对穆拉提在达特茅斯学院深度访谈的完整编译（为提高可读性，智东西调整了部分问答的顺序，并在不违背原意的前提下进行了一定的增删修改）：01.干过航天、汽车、VR/AR等行业，发现自己对AI最感兴趣杰弗里·布莱克本：大家都想听听你的近况和你正在构建的东西，这真是太吸引人了。不过也许我们应该从你的故事开始。你毕业后去了特斯拉一段时间，然后是OpenAI。你能简短地和我们描述一下那个时期吗，还有你加入早期的OpenAI的故事。米拉·穆拉提：我大学毕业之后其实在航空领域短暂工作过，但之后我意识到航空领域的发展相当缓慢。我对特斯拉的使命非常感兴趣，也对构建可持续交通的未来需要面临的创新挑战感兴趣，因此我决定加入特斯拉。在参与ModelS和ModelX的工作后，我意识到自己也不想在汽车行业工作。我想要做一些能真正推动社会发展的事情，同时解决一些非常困难的工程挑战。我在特斯拉的时候对自动驾驶汽车、计算机视觉、AI这些技术和它们在自动驾驶汽车上的应用很感兴趣。我那时候想更深入地了解AI的其它领域。于是我加入了一家初创公司，在那里领导工程和产品团队，将AI和计算机视觉应用于空间计算领域，研究计算的下一个界面。当时我认为计算的交互界面会是VR和AR，但现在我的想法不一样了。那时候我认为，如果我们可以用手与非常复杂的信息交互，无论是公式、分子还是拓扑概念，我们便可以更直观地了解这些东西，扩展自己的学识。然而事实证明，当时谈VR还为时过早。但这给了我许多机会，能了解不同领域的AI技术。我想我的职业生涯一直都处于技术和应用的交叉点。这给了我一个不同的视角，能大致了解AI的发展程度以及它可以应用到什么领域。杰弗里·布莱克本：所以在特斯拉的自动驾驶研究中，你看到了机器学习、深度学习的可能性，看到了它的发展方向。米拉·穆拉提：是的。但我并没有看得很清楚。杰弗里·布莱克本：你给马斯克工作过吗？米拉·穆拉提：是的，特别是在最后一年。但那时我们还不太明确AI的发展方向。当时，我们仍然只是将AI应用于特定的应用场景里，而非通用的场景。VR和AR也是如此。而我不想只是将这些技术应用于具体问题。我想做更多的研究，了解背后的原理，然后开始将这些技术应用到其他事物上。我就在这个阶段加入了OpenAI，OpenAI的使命对我非常有吸引力。当时它是一个非营利组织。现在使命没有变，但结构变了。当我6年前加入时，它是一个致力于构建安全AGI（通用人工智能）的非营利组织。当时OpenAI是DeepMind之外唯一一个做相关研究的公司。这就是我在OpenAI旅程的开始。02.3大技术进步让ChatGPT成为可能，实践证明模型能深入理解数据杰弗里·布莱克本：明白了，所以你从那时起你就一直在构建很多东西。也许你可以为在场的观众提供一些AI的基础知识。从机器学习、深度学习到现在的AI，这些概念都是相互关联的，但也各有不同。这些转变是如何发生的呢，又是如何让ChatGPT、DALL·E或者Sora这样的产品成为可能的呢？米拉·穆拉提：其实我们的产品并不是全新的，在某种意义上我们的产品是建立在过去几十年人类共同的努力的基础上的。其实AI就开始于达特茅斯学院。在过去几十年中，神经网络、大量数据和大量算力的结合带来了真正具有变革性的AI系统或模型，它们能够执行一般性任务。尽管我们不清楚其为何成功，但是深度学习真的行得通。我们也试图通过研究和工具来理解这些系统的实际运作方式。不过根据我们过去几年研究AI技术时的经验，我们知道这条路行得通。我们也见证了它们逐渐进步的轨迹。以GPT-3为例，这是一个大约三年半前部署的大型语言模型。其目标是预测下一个token，基本上是下一个单词的预测。我们发现，如果我们给这个模型预测下一个token的任务，并用大量数据训练这个模型，给它大量计算资源时，我们还能获得一个真正理解语言的模型，而且其理解水平与人类相似。它通过阅读大量书籍和互联网的信息，形成了自己对这些数据的模式的理解，而不仅仅是简单地记忆。我们还发现，这种模型不仅可以处理语言，还可以处理不同类型的数据，如代码、图像、视频和声音。它并不在乎我们输入什么数据。我们发现，数据、计算和深度学习的结合运作得非常好，通过增加数据类型和计算量，这些AI系统的性能会不断提高。这便是所谓的扩展法则（ScalingLaws）。它不是实际的法则，而是模型能力提高的统计学预测。这就是推动今天AI进步的动力。杰弗里·布莱克本：你们为什么选择了聊天机器人作为第一款产品呢？米拉·穆拉提：就产品而言，我们其实是从API开始的，而不是聊天机器人。因为我们不知道如何将GPT-3商业化。商业化AI技术实际上非常困难。我们最初专注于技术的开发和研究，我们认为只要构建了一个优秀的模型，商业伙伴就会自然地拿它去构建产品。但后来我们发现这实际上非常困难，这也是为什么我们开始自己开发产品。于是我们开始自己构建一个聊天机器人，我们试图理解为...PC版：https://www.cnbeta.com.tw/articles/soft/1436153.htm手机版：https://m.cnbeta.com.tw/view/1436153.htm

AI行业买英伟达GPU 花的钱比赚的多17倍 有人却表示很合理

AI行业买英伟达GPU花的钱比赚的多17倍有人却表示很合理上个周末，机器学习社区围绕这个数字热烈地讨论了起来。明星创业公司，几周估值翻倍：但没有收入由知名投资人PeterThiel支持的AI初创公司CognitionLabs正在寻求20亿美元估值，新一轮融资在几周之内就将该公司的估值提高了近六倍。在如今火热的生成式AI领域里，Cognition是一家冉冉升起的新星。如果你对它还不太熟悉，这里有它的两个关键词：国际奥赛金牌团队，全球首位AI程序员。Cognition由ScottWu联合创立，其团队组成吸引眼球，目前只有10个人，但包含许多国际信息学奥林匹克竞赛的金牌选手。CognitionLabs的团队，CEOScottWu（后排身穿衬衣）只有27岁。该公司在今年3月推出了AI代码工具Devin，号称“第一位接近人类的AI程序员”，能够自主完成复杂的编码任务，例如创建自定义的网站。从开发到部署，再到debug，只需要人类用自然语言给需求，AI就能办到。该新闻很快就登上了众多媒体的头条，也成为了热搜：一些投资者表示，Devin代表了人工智能的重大飞跃，并可能预示着软件开发的大规模自动化之路已经开启。Cognition虽然神奇，但它并不是个独苗。最近一段时间，生成式AI展现了超乎想像的吸金能力。去年12月，总部在法国的Mistral获得了4.15亿美元融资，估值达到20亿美元，比前一年夏天的一轮融资增长了大约七倍。3月初，旨在挑战Google网络搜索主导地位的AI初创公司Perplexity也传来新一轮融资的消息，新估值有望达到近10亿美元。而在这其中，作为一家旨在提供AI自动代码工具的创业公司，Cognition去年才开始研发产品，目前并没有获得有意义的收入数字。今年初，在FoundersFund牵头的一轮2100万美元融资中，该公司的估值达到了3.5亿美元。据介绍，美国著名创业投资家、创办FoundersFund的PeterThiel帮助领导了对Cognition的投资。PeterThiel是全球畅销书《从0到1：开启商业与未来的秘密》的作者，身家71亿美元。AI编写代码看起来是一个有前途的大模型应用方向，其他提供类似产品的公司也看到了增长势头。上个季度，微软的代码工具GitHubCopilot用户数量增长了30%达到130万。MagicAI是Cognition的竞争对手，2月份获得了1.17亿美元的投资。国内也有一些代码生成自动化工具的初创企业，在生成式AI技术爆发后正在加速行业落地。尽管出现了令人鼓舞的增长迹象，新公司的估值也不断膨胀，但这种快速发展也引发了人们对于出现泡沫的担忧——到目前为止，很少有初创公司能够展示他们如何赚钱，想要收回开发生成式AI的高昂成本，似乎还没有门道。在3月的一次演讲中，红杉资本（SequoiaCapital）有投资人估计AI行业去年为了训练大模型，仅在英伟达芯片上就花费了500亿美元，而换来的收入是30亿美元。所以说，不算电费，开销是收入的17倍。怎么样，今年还玩得起吗？出路在哪如今生成式AI技术的爆发，可谓验证了强化学习先驱RichardS.Sutton在《苦涩的教训》中的断言，即利用算力才是王道。黄仁勋两周前在GTC上也曾表示：“通用计算已经失去动力，现在我们需要更大的模型、更大的GPU，需要将GPU堆叠在一起……这不是为了降低成本，而是为了扩大规模。”但是在千亿、万亿参数量的大模型出现之后，通过提升规模来提升智能的方法是否还可以持续，是一个无法回避的问题。更何况现在的大模型已经很贵了。华尔街日报的文章迅速引起大量讨论。有网友认为：“资本支出通常就是一次性的，而投资的收入却是日积月累的。生成式AI刚刚起步，其后续的经济收益可能是巨大的。”但这种乐观的观点很快遭到反驳，另一位网友指出：“资本的支出的确是一次性的，但GPU会相对较快地贬值。”为什么说GPU会快速贬值呢？虽然较老版本的GPU也不会停止支持CUDA（英伟达推出的运算平台）等等，但与H100相比，V100的能源消耗是巨大的浪费。毕竟同样也是在3月份，英伟达已经发布了全新一代AI加速的GPUBlackwell系列。近八年来，AI算力增长了一千倍。如果使用V100可以赚钱，那当然没问题。然而，如诸多媒体报道所述，对大多数公司来说，现阶段运行大模型并没有转化为实际收入。另一方面，看看现在大模型每周都在推陈出新的状态，即使几年前的GPU在算力角度看可以接受，但大模型也在“快速折旧”。七年后的AI，用现在的基础设施能支撑吗？此外，如果一家公司花费大量成本来购买V100，试图跟上生成式模型的趋势，那么可能就会出现研究团队雇佣成本不足的问题，那么最终可能还是无法做出有实际应用、经济收益的产品。值得注意的是，许多LLM都需要额外的处理层来消除幻觉或解决其他问题。这些额外的层显著增加了生成式模型的计算成本。这不是10%的小幅增长，而是计算量增长了一个数量级。并且许多行业可能都需要这种改进。图源：Reddit用户@LessonStudio从行业的角度讲，运行生成式大模型需要大型数据中心。英伟达已经非常了解这个市场，并持续迭代更新GPU。其他公司可能无法仅仅投资数百亿美元来与之竞争。而这些GPU需求还只是来自各大互联网公司的，还有很多初创公司，例如Groq、Extropic、MatX、Rain等等。最后，也有人给出了这种夸张投入的“合理性”：坐拥大量现金的微软、Google和Meta，他们因为反垄断法规而无法继续收购，因而只能选择将资金投入AI技术发展。而GPU支出的折旧，可以作为损失避免缴纳更多税款。但这就不是创业公司所要考虑的事了。无论如何，竞争会决出胜者。无论花掉多少钱，成为第一可能就会带来潜在的收益……但是什么样的收益，我们还无法作出预测。难道，生成式AI真正的赢家是英伟达？...PC版：https://www.cnbeta.com.tw/articles/soft/1425787.htm手机版：https://m.cnbeta.com.tw/view/1425787.htm

强攻AI叫板英伟达 AMD突围算力芯片大战

强攻AI叫板英伟达AMD突围算力芯片大战但如今，英伟达或已无法高枕无忧。近日，AMD在美国旧金山举办的“数据中心和人工智能技术首映式”活动上，正式发布MI300系列在内的一系列AI和数据中心相关技术产品，其中包括直接对标英伟达旗舰产品H100的MI300X，以及全球首款针对AI和HPC的加速处理器（APU）MI300A。这意味着AMD将在人工智能领域与英伟达“正面刚”。在业界看来，硬刚英伟达，AMD无疑在获取客户，数据和库、硬件加速和生态建设等方面面临重要挑战，以及在当前的行业发展和竞争格局下，其尚未公布的定价将成为战略重点。但在旺盛的市场需求和科技巨头多元布局战略下，AMDMI300X凭借性能优势以及系列相关建构升级，势必将成为AI市场的有力竞争者，以及英伟达高端GPU的重要替代产品。硬刚竞品力创新机随着AI浪潮席卷全球，AMD已将发展人工智能列为核心战略，在技术创新高地保持强力攻势，并于近日推出了新一代AI芯片、数据中心CPU以及预告将推出全新DPU芯片。显然，其中最受瞩目的莫过于用于训练大模型的AI芯片InstinctMI300X，直接对标英伟高端GPUH100。至于另一款同期发布的MI300A，号称全球首款针对AI和HPC的APU，以及业界首款“CPU+GPU+HBM显存”一体化的数据中心芯片。一些分析机构和行业人士研判认为，MI300X性能强大，是对标英伟达高端加速卡的有力竞品。相较H100，MI300X在晶体管数量和显存容量上亦大幅领先。而MI300A凭借CPU+GPU的能力，产品组合性能更高、同时具有成本优势。另外，在收购赛灵思之后，AMD在加速卡领域的定制化服务大幅领先英伟达，能够协助云厂商在特定算法模块上进行训练。随着下游应用端的高速发展，使得微软、Google、Meta等众多海外巨头争相增加算力储备，算力芯片需求高度旺盛之下，英伟达一家独大的市场格局或将迎来转变。但有所遗憾的是，AMD股价在发布会活动过程中转而走低，收跌3.61%。而同行英伟达则收涨3.90%，市值再次收于1万亿美元关口上方。在投资人眼里，AMD的所谓“超级芯片”MI300X似乎仍然难以撼动英伟达的根基。其中，TIRIASResearch首席分析师KevinKrewell表示：“我认为，没有（大客户）表示将使用MI300X或MI300A，这可能会让华尔街感到失望。他们希望AMD宣布已经在某些设计方面取代了英伟达。”目前，AMD公布的客户仅有开源大模型独角兽HuggingFace，以及更早之前透露的劳伦斯利弗莫尔国家实验室。虽然两者与对大模型和数据中心芯片有更大需求的科技巨头不在一个数量级，但在AMD的发布会上值得注意的是，亚马逊旗下云计算部门AWS、甲骨文云、Meta、微软Azure的高管均来到现场。其参会动机一定程度上不言而明。此后，由于传出亚马逊正在考虑使用MI300人工智能芯片，AMD股价随即上涨约1%。InsiderIntelligence分析师JacobBourne表示：“亚马逊正在考虑AMD的MI300，这一事实表明科技公司有意使其AI开发硬件多样化，这可能会为其他芯片制造商创造新的机会。”美国科技类评论家BillyDuberstein也指出，潜在客户对MI300非常感兴趣，正在强烈要求寻找英伟达的替代产品。鉴于目前英伟达H100的服务器价格高昂，数据中心运营商希望看到有一个第三方竞争对手，这有助于降低AI芯片的价格。因此，这对AMD而言是一个巨大的优势，对英伟达来说则是一个挑战。这能为每个市场参与者带来良好的盈利能力。尚有软肋定价是“金”从产品性能来看，AMDMI300X已在业界力拔头筹，包括支持达192GB的HBM3内存（是英伟达H100的2.4倍），HBM内存带宽达5.2TB/s（是英伟达H100的1.6倍），InfinityFabric总线带宽为896GB/s，晶体管数量达到1530亿个，远高英伟达H100的800亿个。但AMD并没有公布这款GPU的价格，使得“双雄”竞争增加了悬念。AMDMI300处理器业界分析称，AMD并没有透露新款AI芯片的具体售价，但想要有显著的成本优势可能不太现实，因为高密度的HBM价格昂贵。即便MI300X的内存达到了192GB，但这也不是显著优势，因为英伟达也拥有相同内存规格的产品。对此，Cambrian-AIResearchLLC创始人兼首席分析师KarlFreund也在福布斯网站上发文表示，虽然MI300X芯片提供了192GB内存，但英伟达在这一点上将很快迎头赶上，甚至在相同的时间框架内可能实现反超，所以这并不是一个很大的优势。而且MI300X的售价将会十分高昂，与英伟达的H100相比不会有明显的成本优势。另据晚点LatePost援引一位AI从业者的话报道称，他所在的公司曾接触一家非英伟达GPU厂商，对方的芯片和服务报价比英伟达更低，也承诺提供更及时的服务。但他们判断使用其它GPU的整体训练和开发成本会高于英伟达，还得承担结果的不确定性和花更多时间。“虽然A100价格贵，但其实用起来是最便宜的。”他说，对有意抓住大模型机会的大型科技公司和头部创业公司来说，钱往往不是问题，时间才是更宝贵的资源。不难猜测，这家非“英伟达GPU厂商”是AMD的可能性极高。由此，在AI浪潮下，争市场还是保盈利，将成为MI300X届时定价的战略重点。但除了价格，AMD势必也面临其它各类挑战。KarlFreund认为，虽然AMD新推出的MI300X芯片激起了市场各方的巨大兴趣，但与英伟达的H100芯片相比面临的一些挑战包括，英伟达的H100现在已开始全面出货，而且到目前为止仍拥有AI行业最大的软件和研究人员生态系统。然而，AMD尚未披露任何基准测试，也还没有上市（预计今年第四季度量产）。另外，训练和运行大语言模型（LLM）时的性能取决于系统设计和GPU，MI300X正式推出时才能看到一些详细比较。至于真正关键的地方，KarlFreund指出，MI300X并不具备H100所拥有的TransformerEngine（一个用于在英伟达GPU上加速Transformer模型的库）。基于此，H100可以将大模型的性能提高两倍。如果用几千个（英伟达的）GPU来训练一个新模型需要一年的时间，那么用AMD的硬件来训练可能需要再等2-3年，或者投入3倍的GPU来解决问题。可即便如此，市场也不愿意英伟达以高溢价垄断市场。美国投行TDCowen在一份报告中指出，“随着市场寻找人工智能市场领军企业英伟达的替代品，AMD成为日益明显的选择。”仅凭这一点，就足以让科技巨头保持对这家公司的高度兴趣。正因如此，资本市场对于AMD给予更多积极的预期。部分行业分析预测，AMD2024年AI相关营收有望达到4亿美元，最高甚至可能达到12亿美元——是此前预期的12倍之多。生态大战前程可期毋庸置疑，与英伟达的H100相比，MI300X也面临着多种挑战和一定劣势。华泰证券表示，AMD对英伟达市场份额的挑战并非能一蹴而就。一方面，英伟达GPU芯片的算力壁垒以及AI训练端的深入布局一时难以撼动，另一方面，AMD的软件生态也限制其与客户系统的融合及渗透应用场景。可以说，英伟达的领先地位不仅来自于其芯片，还来自于十多年来为人工智能研究人员提供的软件工具。MoorInsights&Strategy分析师AnshelSag称：“即使AMD在硬件性能方面具有竞争力，但人们仍然不相信其软件解决方案能与英伟达竞争。”进一步来看，软件生态也被多位行业人士视为英伟达铜墙铁壁一般的护城河。据悉，英伟达于2007年发布CUDA生态系统。通过使用CUDA，开发者可以将英伟达的GPU用于通用的计算处理，而非仅限于图形处理。CUDA提供了一个直观的编程接口，允许开发者更容易使用C，C++，Python，以及其他一些语言来编写并行代码。2023年，CUDA的开发者已达400万，包括Adobe等大型企业客户。而用户越多构成的生态粘性就越大。相比之下，AMD在2016年推出了ROCm，目标是建立可替代英伟达CUDA的生态。在发布M...PC版：https://www.cnbeta.com.tw/articles/soft/1365759.htm手机版：https://m.cnbeta.com.tw/view/1365759.htm

ChatGPT强势加入芯片设计：不用学专业硬件描述语言 说人话就行

ChatGPT强势加入芯片设计：不用学专业硬件描述语言说人话就行在ChatGPT的帮助下，他们不仅设计出CPU上的一个组件，甚至还通过了有效性验证环节。这个组件主要负责创造出一种基于八位累加器的微处理器架构的逻辑。而累加器本质上是寄存器（存储器），是专门存放算术或逻辑运算的一个操作数和存储运算结果的。而这是CPU运作中不可或缺的一部分。所以，还有什么是大语言模型不能做的？有网友表示：芯片设计的部分流程实现自动化无疑是个好消息。也有网友表现出对在芯片设计中使用AI编写HDL的担忧：ChatGPT对芯片设计干了啥？通常，设计和制造芯片的过程中会经历几个阶段。其中一个阶段是用硬件描述语言（HDL）（例如Verilog）描述芯片内不同部件的实际几何形状、密度和整体布局。在此前，作为一个极其专业化和复杂的领域，HDL编写一直是一项相对罕见且非常难以掌握的工作。研究团队成员之一、也是研究助理教授的HammondPearce博士更是认为：硬件描述语言的最大挑战就是没有多少人知道如何编写它们，很难成为这方面的专家。这也就意味着，即使是最好的工程师也还是经常需要用这种语言做一些琐碎的事情。而ChatGPT作为一种模式识别器，可以在各种类型的语言中转换自如，这就可以帮助工程师们跳过HDL阶段。△使用LLM创建IC（集成电路）的设计流程。在这项研究中，研究人员分别使用LLM对八个具有代表性的硬件设计示例进行了研究。工程师与LLM之间实时来回交互，将纯英文文本逐步转化为Verilog（HDL）的等效代码。其中一位硬件工程师与LLMs共同设计了一种新颖的基于八位累加器的微处理器体系结构。他们将这些基准测试和处理器发送到Skywater130纳米Shuttle进行流片（tapeout）。这个过程中，研究人员评估了ChatGPT-4、ChatGPT-3.5、Bard、HuggingChat四个不同LLM创建硬件设计的Verilog能力：此外，研究人员还针对8位移位寄存器进行了基准测试。告诉大模型正在尝试为一个“测试名称”创建一个Verilog模型。然后提供规范说明，定义输入和输出端口以及其他所需的具体信息。最后询问他该如何编写一个满足这些规范的设计。△8位移位寄存器的设计提示下面是不同大模型给出的设计方案：△左图是ChatGPT-4的八位移位寄存器设计，右图是ChatGPT-3.5△左图是Bard（第4行的“红色”输入过宽），右图是HuggingChat（截断，格式化）如上图所示，虽然ChatGPT都能够满足规格要求并开始进行设计流程，但Bard和HuggingChat都未能满足规格要求的初始标准。研究人员又基于Bard和HuggingChat的初始提示，让它们重新生成了五次回答，但两者还是都失败了。Bard一直无法满足给定的设计规格要求，而HuggingChat的Verilog输出在模块定义之后就不符合语法规范。鉴于Bard和HuggingChat在初始的挑战基准测试中表现不佳，研究人员决定后续完整测试仅对ChatGPT-4和ChatGPT-3.5进行。与此同时，顺便让大模型进行了Testbench（测试台）的设计：你能为这个设计编写一个Verilog测试台吗？测试台应该具备自检功能，并且能够与iverilog一起用于仿真和验证。如果测试用例失败，测试台应该能够提供足够的信息，以便找到并解决错误。最终结果表明ChatGPT-4的表现较为出色。大多数基准测试都通过了，并且大部分只需要工具反馈即可。与创建可运行设计相比，ChatGPT-4在创建可运行的测试台上遇到了更多困难，往往还是需要人类的反馈意见。而与ChatGPT-4相比，ChatGPT-3.5的表现明显较差，大多数基准测试都失败了，而那些通过测试台的对话大多数也不符合规范。与ChatGPT-4相比，ChatGPT-3.5每次对话和基准测试之间会出现各种各样的问题，在设计和测试台方面需要更频繁地进行修正。ChatGPT是芯片设计中的“力量倍增器”随着大语言模型（LLM）的继续发展，未来从构想到功能设计，LLM或许都可以轻松实现。△研究人员用ChatGPT-4设计的基于累加器的数据通路（图是人绘制的），控制信号用虚线表示研究人员认为：尽管我们强调了模型的单步性能（即一步完成设计），但对于硬件应用来说，让它们以“共同设计师”的身份加入，可能会表现得更好。当与经验丰富的工程师协同工作时，它们可以成为一种“力量倍增器”。工程师可以根据模型提供的“初版设计方案”，进行微调和快速迭代。HammondPearce博士说道：这项研究成果是我们认为首次完全由人工智能生成的硬件描述语言（HDL）转化为物理芯片的案例。一些人工智能模型，比如OpenAI的ChatGPT和Google的Bard，可以生成不同编程语言的软件代码，但它们在硬件设计领域的应用尚未被广泛研究。而这项研究表明，人工智能在硬件制造方面也具有潜力，尤其是在对话式应用中，通过反复交流可以完善设计。并且，这样一来HDL编写过程中人为引起的错误就会减少，从而可缩短设计时间和上市时间，也可允许更多创造性的设计。不知一些HDL工程专家听到这里是否会略感紧张。研究人员认为如果这个过程能够实现自动化，不仅可以加快现在的工作速度，还可以减轻人为瓶颈。但是，完全依靠类似于ChatGPT这种大模型或者依赖电力运行的软件机器也存在一定的风险。用于芯片设计的LLM在训练阶段也存在难解的黑盒子等一系列问题。...PC版：https://www.cnbeta.com.tw/articles/soft/1366363.htm手机版：https://m.cnbeta.com.tw/view/1366363.htm