瑜伽球上训练出来的机器狗比大多数健身者更能灵活运用训练资源

瑜伽球上训练出来的机器狗比大多数健身者更能灵活运用训练资源DrEureka是一个任何人都可以获取的开源软件包，用于使用大型语言模型（LLM）（如ChatGPT4）训练机器人执行现实世界中的任务。这是一个"模拟到现实"系统，也就是说，它在虚拟环境中使用模拟物理原理对机器人进行教学，然后再在现实空间中实施。吉姆-范（JimFan）博士是DrEureka的开发者之一，他部署的UnitreeGo1四足机器人一跃成为头条新闻。这是一款"低成本"、支持良好的开源机器人--这很方便，因为即使有了人工智能，机器人宠物仍然很容易摔伤。至于"低成本"，它在亚马逊上的售价为5899美元，评分为1星……DrEureka中的"Dr"代表"领域随机化"，即在模拟环境中随机化摩擦、质量、阻尼、重心等变量。只需在ChatGPT等LLM中输入一些提示，人工智能就能编写代码，创建一个奖励/惩罚系统，在虚拟空间中训练机器人，其中0=失败，高于0则为胜利。得分越高越好。它可以通过最小化和最大化球的弹跳力、运动强度、肢体自由度和阻尼等方面的失效点/爆发点来创建参数。作为一个LLM，它可以毫不费力地大量创建这些参数，供训练系统同时运行。每次模拟后，GPT还可以反思虚拟机器人的表现，以及如何改进。如果超出或违反参数，例如电机过热或试图以超出其能力的方式衔接肢体，都将导致0分...没有人喜欢得零分，人工智能也不例外。提示LLM编写代码需要安全指令--否则，研究小组发现GPT会努力追求最佳性能，会在没有指导的情况下在模拟中"作弊"。这在模拟中没有问题，但在现实生活中可能会导致电机过热或肢体过度伸展，从而损坏机器人--研究人员称这种现象为"退化行为"。虚拟机器人自学成才的非自然行为的一个例子是，它发现自己可以更快地移动，方法是将臀部插入地面，用三只脚拖着臀部在地板上窜来窜去。虽然这在模拟中是一种优势，但当机器人在现实世界中尝试时就尴尬了。因此，研究人员指示GPT要格外小心，因为机器人将在真实世界中接受测试--为此，GPT创建了安全功能，如平滑动作、躯干方向、躯干高度，并确保机器人的电机不会扭矩过大。如果机器人作弊，违反了这些参数，其奖励函数就会降低得分。安全功能可以减少退化和不自然的行为，比如不必要的骨盆推力。那么它的表现如何呢？比我们强。DrEureka在训练机器人"pooch"的过程中击败了人类，在实际的混合地形中，它的前进速度和行进距离分别提高了34%和20%。DrEureka基于GPT的训练系统在现实世界中轻松击败人类训练的机器人如何做到？研究人员认为，这与教学方式有关。人类倾向于课程式的教学环境--把任务分解成一个个小步骤，并试图孤立地解释它们，而GPT能够有效地一次性传授所有知识。这是我们根本无法做到的。DrEureka是同类产品中的首创。它能够从模拟世界"零距离"进入现实世界。想象一下，在对周围世界几乎一无所知的情况下，你被推出巢穴，只能自己摸索。这就是"零镜头"。DrEureka的创造者认为，如果他们能向GPT提供真实世界的反馈，就能进一步改进模拟到现实的训练。目前，所有的模拟训练都是利用机器人自身本体感觉系统的数据完成的，但如果GPT能够通过真实世界的视频画面看到出错的地方，而不是仅仅从机器人的日志中读取执行失败的信息，那么它就能更有效地完善自己的指令。人类平均需要一年半的时间才能学会走路，而大概只有百分之一的人类能在瑜伽球上学会走路。您可以在这里观看一段未经剪辑的4分33秒视频，视频中机器人狗狗轻松在瑜伽球上散步，且没有停下来在消防栓上撒尿：...PC版：https://www.cnbeta.com.tw/articles/soft/1429963.htm手机版：https://m.cnbeta.com.tw/view/1429963.htm

人工通用智能的火花: GPT-4 的早期实验 #文件 @qiqubaike #pdf

人工通用智能的火花:GPT-4的早期实验#文件@qiqubaike#pdf人工智能(AI)研究人员一直在开发和完善大型语言模型(LLMs)，这些模型在各种领域和任务中表现出非凡的能力，挑战我们对学习和认知的理解。由OpenAI开发的最新模型GPT-4[Ope23]，是使用前所未有的计算和数据规模训练出来的。在本文中，我们报告了我们对GPT-4早期版本的调查，当时它还在OpenAI的积极开发中。我们认为，(这个早期版本的)GPT-4是新一批LLM的一部分(例如，与ChatGPT和谷歌的PaLM一起)，它比以前的AI模型表现出更多的通用智能。我们讨论了这些模型的上升能力和影响。我们证明，除了对语言的掌握，GPT-4还能解决跨越数学、编码、视觉、医学、法律、心理学等领域的新颖而困难的任务，而不需要任何特殊的提示。此外，在所有这些任务中，GPT-4的表现都惊人地接近人类水平，而且往往大大超过了ChatGPT等现有模型。鉴于GPT-4能力的广度和深度，我们认为可以合理地将其视为人工通用智能(AGI)系统的早期(但仍不完整)版本。在我们对GPT-4的探索中，我们特别强调发现它的局限性，并讨论了在向更深入和更全面的AGI版本迈进时面临的挑战，包括可能需要追求一种超越下一个单词预测的新范式。最后，我们对近期技术飞跃的社会影响和未来的研究方向进行了思考。

训练出ChatGPT需要消耗多少电力？

训练出ChatGPT需要消耗多少电力？微软、谷歌和ChatGPT制造商OpenAI都要使用云计算，而云计算依赖于全球海量数据中心服务器内数以千计的芯片来训练被称为模型的AI算法，分析数据以帮助这些算法“学习”如何执行任务。ChatGPT的成功促使其他公司竞相推出自己的AI系统和聊天机器人，或者开发使用大型AI模型的产品。与其他形式的计算相比，AI需要使用更多的能源，训练单个模型消耗的电力超过100多个美国家庭1年的用电量。然而，虽然AI行业增长非常快，但却不够透明，以至于没有人确切知道AI的总用电量和碳排放量。碳排放量也可能有很大差异，这取决于提供电力的发电厂类型，靠烧煤或天然气发电供电的数据中心，碳排放量显然高于太阳能或风力发电支持的数据中心。虽然研究人员已经统计了创建单一模型所产生的碳排放量，有些公司也提供了有关他们能源使用的数据，但他们没有对这项技术的总用电量进行总体估计。AI公司HugingFace研究员萨莎·卢西奥尼（SashaLuccioni）写了一篇论文，量化了她旗下公司Bloom的碳排放情况，Bloom是OpenAI模型GPT-3的竞争对手。卢西奥尼还试图根据一组有限的公开数据，对OpenAI聊天机器人ChatGPT的碳排放情况进行评估。提高透明度卢西奥尼等研究人员表示，在AI模型的电力使用和排放方面，需要提高透明度。有了这些信息，政府和公司可能会决定，使用GPT-3或其他大型模型来研究癌症治疗或保护土著语言是否值得。更高的透明度也可能带来更多的审查，加密货币行业可能会提供前车之鉴。根据剑桥比特币电力消耗指数，比特币因其耗电量过大而受到批评，每年的耗电量与阿根廷一样多。这种对电力的贪婪需求促使纽约州通过了一项为期两年的禁令，暂停向以化石燃料发电供电的加密货币采矿商发放许可证。GPT-3是功能单一的通用AI程序，可以生成语言，具有多种不同的用途。2021年发表的一篇研究论文显示，训练GPT-3耗用了1.287吉瓦时电量，大约相当于120个美国家庭1年的用电量。同时，这样的训练产生了502吨碳，相当于110辆美国汽车1年的排放量。而且，这种训练只适用于一个程序，或者说是“模型”。虽然训练AI模型的前期电力成本巨大，但研究人员发现，在某些情况下，这只是模型实际使用所消耗电力的40%左右。此外，AI模型也在变得越来越大。OpenAI的GPT-3使用了1750亿个参数或变量，而其前身仅使用了15亿个参数。OpenAI已经在研究GPT-4，而且必须定期对模型进行再训练，以保持其对时事的了解。卡内基梅隆大学教授艾玛·斯特鲁贝尔（EmmaStrubell）是首批研究AI能源问题的研究人员之一，她说：“如果你不对模型进行再训练，它甚至可能不知道何为新冠肺炎。”另一个相对的衡量标准来自谷歌，研究人员发现，AI训练占该公司总用电量的10%至15%，2021年该公司的总用电量为18.3太瓦时。这意味着，谷歌的AI每年耗电量达2.3太瓦时，大约相当于亚特兰大所有家庭的1年用电量。科技巨头做出净零承诺虽然在许多情况下，AI模型变得越来越大，但AI公司也在不断改进，使其以更高效的方式运行。微软、谷歌和亚马逊等美国最大的云计算公司，都做出了碳减排或净零承诺。谷歌在一份声明中表示，到2030年，该公司将在所有业务中实现净零排放，其目标是完全使用无碳能源运营其办公室和数据中心。谷歌还在使用AI来提高其数据中心的能效，该技术直接控制设施中的冷却系统。OpenAI也列举了该公司为提高ChatGPT应用程序编程接口的效率所做的工作，帮助客户降低了用电量和价格。OpenAI发言人表示：“我们非常认真地承担起阻止和扭转气候变化的责任，我们对如何最大限度地利用我们的计算能力进行了很多思考。OpenAI运行在Azure上，我们与微软团队密切合作，以提高运行大型语言模型的效率并减少碳排放。”微软指出，该公司正在购买可再生能源，并采取其他措施，以实现之前宣布的目标，即到2030年实现净零排放。微软在声明中称：“作为我们创造更可持续性未来承诺的一部分，微软正在投资于研究，以衡量AI的能源使用和碳排放影响，同时致力于提高大型系统在培训和应用方面的效率。”耶路撒冷希伯来大学教授罗伊·施瓦茨（RoySchwartz）与微软的一个团队合作，测量了一个大型AI模型的碳足迹。他表示：“显然，这些公司不愿透露他们使用的是什么模型，以及它排放了多少碳。”有些方法可以让AI更高效地运行。能源咨询公司WoodMackenzie的本·赫兹-沙格尔（BenHertz-Shargel）表示，由于AI训练可以随时进行，开发者或数据中心可以将训练安排在电力更便宜或过剩的时候，从而使它们的运营更加环保。AI公司在电力过剩时训练自己的模型，然后可以在营销中将其当成一大卖点，以此表明他们注重环保。芯片运行耗电量惊人大多数数据中心使用图形处理单元（GPU）来训练AI模型，这些组件是芯片行业制造的最耗电组件之一。摩根士丹利分析师本月早些时候发布的一份报告称，大型模型需要数万个GPU，培训周期从几周到几个月不等。AI领域更大的谜团之一是与所使用芯片相关的碳排放总量。最大的GPU制造商英伟达表示，当涉及到AI任务时，他们的芯片可以更快地完成任务，总体上效率更高。英伟达在声明中表示：“与使用CPU相比，使用GPU来加速AI速度更快，也更高效。对于某些AI工作负载来说，能效通常可以提高20倍，对于生成式人工智能必不可少的大型语言模型，能效则可提高300倍。”卢西奥尼说，虽然英伟达已经披露了与能源相关的直接排放和间接排放数据，但该公司并没有透露更多细节。她认为，当英伟达分享这些信息时，我们可能发现GPU消耗的电量与一个小国用电量差不多，“这可能会让人抓狂”！...PC版：https://www.cnbeta.com.tw/articles/soft/1348809.htm手机版：https://m.cnbeta.com.tw/view/1348809.htm

Vik Paruchuri 写了自己是如何从一个学历史的普通工程师，用了一年的时间学习AI并且训练出相当优秀的OCR PDF模型

VikParuchuri写了自己是如何从一个学历史的普通工程师，用了一年的时间学习AI并且训练出相当优秀的OCRPDF模型的历程。里面给了一下他自己的学习路径和学习渠道，感觉想要入门的都可以看看。下面是总结的文章要点和全文翻译的链接。1⃣实用技能如果你想进入AI领域，精通编程是首要任务。大多数情况下，掌握数据处理技能是必不可少的。能够辨别何时深入研究，何时采取快速简单的方案，是非常重要的技能。2⃣学习资源书籍《深度学习》《机器学习的数学》视频教程：fastai和Karpathy的视频课程论文：RNN注意力机制、Transformer、切换Transformer、LoRA、视觉Transformer、AdamW、GPT-2Discord：NousResearch和EleutherAI3⃣学习要点理解基础知识对于训练高效模型至关重要。寻找并解决有趣的问题是提升你所构建系统影响力的最佳途径。实际上，并不需要很多GPU资源。详细的全文翻译：https://quail.ink/op7418/p/e5a682e4bd95e5bc80e5a78be6b7b1e5baa6e5ada6e4b9a0e79a84e69785e7a88b

OpenAI向少部分用户推出GPT-4o(S2S)模型 似乎是免费版的实时语音功能

OpenAI向少部分用户推出GPT-4o(S2S)模型似乎是免费版的实时语音功能OpenAI早前宣布在春季发布会中演示的ChatGPT高级实时语音模式将延迟到7月份发布，该功能最初只会面向ChatGPTPlus订阅用户进行邀请测试，预计到秋季会面向所有订阅用户提供。与此同时极少部分用户注意到ChatGPTAlphaModels里出现了一个未知的新模型，这个新模型名为GPT-4o(S2S)，该模型暂时使用和GPT-4o没区别。现在在OpenAI社区里虽然也有用户讨论不过没有官方管理员进行解释，所以暂时还不清楚这个新模型具体是什么用途。目前来看S2S为高级实时语音模式的免费版概率更大，就像是GPT-4o，无论是付费用户还是免费用户都可以使用，只不过免费用户的配额更低因此几次对话后就会被冻结需要等待一段时间后重新获得配额。频道：@kejiqu群组：@kejiquchat

OpenAI官宣启动“下一代前沿模型”训练 或整合“文生视频”模型Sora

OpenAI官宣启动“下一代前沿模型”训练或整合“文生视频”模型SoraOpenAI在该博客文章中表示，“虽然我们为打造和发布在能力和安全性方面都处于业界领先地位的模型而感到自豪，但在这个重要时刻，我们欢迎围绕这一问题展开激烈的讨论。”公司称，其成立的这个新委员会的目的就是来评估这项“新的前沿模型”可能带来的任何风险。虽然目前外界普遍预计OpenAI所谓的“下一代前沿模型”就是GPT-5，但公司迄今未做过任何官方形式的表态。而根据OpenAI开发者体验主管罗曼·韦（RomainHuet）上周在巴黎的一次演讲，OpenAI下一代模型可能将被命名为“GPT-Next”。不过，也有外媒认为这实际上是Omni-2——一个更精致、训练参数更多、更强的GPT-4o增强版。OpenAI称，新成立的“安全与保障委员会”的首要任务“将是在未来90天内评估进一步发展OpenAI的流程和保障措施”。随后，OpenAI将在董事会审查后公开分享“采纳建议”的最新情况。这意味着OpenAI的董事会应该最迟在今年8月26日收到该委员会的建议。如果按照这样的时间表来计算，OpenAI最快可能在今年秋季发布所谓的“下一代前沿模型”。不过，《纽约时报》报道称，AI模型的训练可能需要数月甚至数年时间。训练完成后，AI公司通常还会再花几个月时间来测试该模型，并对其进行微调，之后才能供公众使用。这就意味着，OpenAI的下一代模型可能并不会在90天之后就发布。在最近的国际人工智能首尔峰会期间发布的“安全更新（SecurityUpdate）”中，OpenAI也表示，在（其下一代模型）发布前，公司将花更多时间评估新模型的功能，这可以解释为什么没有具体的发布日期。OpenAI并未明确提及训练中模型的名称，但外界第一时间猜测这一“前沿模型”就是GPT-5。此前，OpenAI的基础模型一直遵循着明确的命名顺序，即GPT后以递增数字的形式变化。不过，需要注意的是，本月OpenAI发布的模型却命名为GPT-4o。在当地时间5月22日巴黎举行的VivaTech会议上演示ChatGPTVoice时，OpenAI开发者体验主管罗曼·韦展示了一张幻灯片，揭示了未来几年人工智能模型的潜在增长趋势和命名，其中并没有GPT-5。 罗曼·韦展示了GPT-3时代、GPT-4时代、GPT-Next和“未来的模型”，而“Today（今天）”就处于GPT-4时代和GPT-Next之间。这似乎意味着，OpenAI推出的下一代模型或将命名为GPT-Next，但有外媒认为这实际上是Omni-2——一个更精致、训练参数更多、更强的GPT-4o增强版。而且，罗曼·韦在演讲中也表示，在未来几个月或者说今年，人们将看到更多类型的OpenAI模型，而不仅仅是ChatGPT一种模型。迭代趋势预示下一代模型将整合Sora福布斯报道称，OpenAI所谓的“下一代前沿模型”可能会取代其领先的基础模型GPT-4，以及图像生成器、虚拟助手、搜索引擎和旗舰聊天机器人ChatGPT等强大的生成式AI工具。科技媒体ZDNET报道称，按照过去的趋势，外界可以预期“下一代前沿模型”的反应会更加准确，因为它将接受更多数据的训练。模型训练的数据越多，该模型生成连贯、准确内容的能力就越强，从而也能拥有更好地性能。例如，有研究称GPT-3.5是在1750亿个参数上训练的，而GPT-4的训练参数则已经达到1万亿。报道称，如果OpenAI“下一代前沿模型”发布，我们可能会看到该模型在训练参数上更大的飞跃。而回顾OpenAI过往的基础模型，从GPT-3.5到最新的GPT-4o，可以看到，随着模型的升级，产品的迭代已经让其变得更加智能，包括价格、响应速度、上下文长度等等。要知道，GPT-3.5只能输入和输出文本，而到GPT-4Turbo时，已经可以通过文字和图像的输入以获得文本的输出。GPT-4o更是展示了更强大的能力，不仅能处理文本，还能创建图像内容，并以高度对话化的语音方式回答问题和响应指令。ZDNET报道称，按照OpenAI基础模型这样的迭代趋势，“下一代前沿模型”或将拥有输出视频的能力。今年2月，OpenAI发布了“文生视频”模型Sora，这可能会被整合到“下一代前沿模型”中以输出视频。OpenAI的目标是在超越竞争对手的同时，更快地推进AI技术，同时也安抚那些认为该技术越来越危险、助长虚假信息传播、取代工作岗位甚至威胁人类生存的批评者。虽然OpenAI在周二的博客文章中称，预期其“新前沿模型”将使我们在通往AGI的道路上达到更高的能力水平，这是一种能够理解、学习和执行人类可以执行的任何智力任务的AI形式。不过，专家们对AGI的可行性以及何时可能实现存在分歧。被誉为AI教父的GeoffreyHinton估计，可能需要20年才能发展出AGI。英伟达CEO黄仁勋则预测称，AI会在五年内通过人类测试，AGI将很快到来。...PC版：https://www.cnbeta.com.tw/articles/soft/1432739.htm手机版：https://m.cnbeta.com.tw/view/1432739.htm