【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】

【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】6月1日消息，OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。人工智能幻觉指的是人工智能模型生成内容的能力，这些内容不是基于任何现实世界的数据，而是模型自己想象的产物。人们担心这种幻觉可能带来的潜在问题，包括道德、社会和实际问题。OpenAI的研究人员在报告中表示，即使是最先进的人工智能模型也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重，因为一个逻辑错误就足以破坏一个更大的解决方案。该公司提出的新策略是：训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是结果监督，它可能会提高人工智能的性能与准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。

OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”

OpenAI公布大模型新训练方法：阻止ChatGPT“一本正经地胡说八道”OpenAI公司的研究人员表示，即使是最先进的人工智能模型也会杜撰虚假信息，尤其是在拿不准的时候，它们往往倾向于编造事实。在要求多步骤推理的领域，人工智能胡编的后果尤为严重，因为一个单一的逻辑错误会导致整个解决方案“翻车”。OpenAI准备采用新战略，防止人工智能胡编。比如在过去，一旦提供一个正确的最终答案，模型会获得某种鼓励，但是以后，在每一个单一的逻辑推理环节如果表现正确，就将获得鼓励反馈。这种模式也被称之为“过程监督”（以往的模式术语“结果监督”）。研究人员表示，“过程监督”模式有助于产生更加清晰合理的回答，它将会鼓励生成式人工智能能够像人类一样，在推理思考中做到“环环相扣”。OpenAI公司“随机生成数学”研究专家卡尔·柯比（KarlCobbe）表示，发现并且减少人工智能模型的逻辑错误，也就是“AI幻觉”，是构建“通用人工智能”的关键一步。另外，“过程监督”模式并非OpenAI公司发明，但是该公司正在加以推广普及。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

OpenAI组建团队研究包括核威胁在内的"灾难性"人工智能风险

OpenAI组建团队研究包括核威胁在内的"灾难性"人工智能风险Preparedness的主要职责是跟踪、预测和防范未来人工智能系统的危险，包括其说服和愚弄人类的能力（如网络钓鱼攻击）以及恶意代码生成能力。Preparedness负责研究的一些风险类别似乎比其他类别更......牵强。例如，在一篇博文中，OpenAI将"化学、生物、辐射和核"威胁列为人工智能模型的首要关注领域。OpenAI首席执行官萨姆-阿尔特曼（SamAltman）是一位著名的人工智能末日论者，他经常担心人工智能"可能会导致人类灭绝"--无论是出于视觉效果还是个人信念。但坦率地说，OpenAI可能真的会投入资源来研究科幻乌托邦小说中的场景，这比本文作者的预期还更进了一步。该公司表示，它也愿意研究"不那么明显"、更接地气的人工智能风险领域。为了配合"准备"团队的启动，OpenAI正在向社区征集风险研究的想法，前十名的提交者将获得2.5万美元的奖金和一份"Preparedness"的工作。"想象一下，我们让你不受限制地访问OpenAI的Whisper（转录）、Voice（文本到语音）、GPT-4V和DALLE-3模型，而你是一个恶意行为者，"作品征集中的一个问题写道。"考虑最独特的、同时仍有可能发生的、潜在灾难性的模型滥用。"OpenAI表示，准备团队还将负责制定一项"风险知情开发政策"，该政策将详细说明OpenAI构建人工智能模型评估和监控工具的方法、公司的风险缓解行动以及监督整个模型开发流程的治理结构。该公司表示，这是为了补充OpenAI在人工智能安全领域的其他工作，重点是模型部署前和部署后阶段。"我们相信......人工智能模型将超越目前最先进的现有模型的能力，有可能造福全人类，"OpenAI在上述博文中写道。"但它们也带来了越来越严重的风险......我们需要确保我们对高能力人工智能系统安全所需的理解和基础设施。"在OpenAI宣布将组建一个团队来研究、引导和控制新出现的"超级智能"人工智能形式之后，OpenAI在英国政府举行的一次关于人工智能安全的重要峰会上发布了"预先准备"计划（Preparedness）。首席执行官Altman和OpenAI的首席科学家兼联合创始人IlyaSutskever都认为，拥有超越人类智能的人工智能可能会在十年内出现，而这种人工智能并不一定是善意的，因此有必要研究限制和约束它的方法。...PC版：https://www.cnbeta.com.tw/articles/soft/1392541.htm手机版：https://m.cnbeta.com.tw/view/1392541.htm

OpenAI首席科学家有个计划 寻找方法控制超级人工智能

OpenAI首席科学家有个计划寻找方法控制超级人工智能OpenAI的研究人员利奥波德·阿森布伦纳（LeopoldAschenbrenner）指出：“通用人工智能（AGI）正在迅速接近，我们将看到具有巨大能力但也可能非常危险的超智能模型，而我们还没有找到控制它们的方法。”他参与了今年7月成立的“超级对齐”（Superalignment）研究团队。OpenAI表示，将把其可用算力的五分之一用于“超级对齐”项目，以探索如何确保超级人工智能的安全性和可控性。OpenAI最近发布了一篇研究论文，介绍了一项实验结果。该实验旨在测试一种方法，让一个较差的人工智能模型在不降低智能的情况下指导一个更聪明的人工智能模型。尽管所涉及的技术还没有超过人类的灵活性，但该实验是为了应对未来人类必须与比自己更聪明的人工智能系统合作的时代而设计的。在实验中，OpenAI的研究人员检查了一种被称为监督的过程，它被用来调整像GPT-4这样的系统，使其更有帮助、更少伤害。GPT是ChatGPT背后的大语言模型。目前，这涉及到人类向人工智能系统反馈哪些答案是好的，哪些是坏的。随着人工智能的进步，研究人员正在探索如何将这一过程自动化以节省时间。此外，这也是因为他们认为，随着人工智能变得越来越强大，人类可能无法提供有用的反馈。在对照实验中，研究人员使用OpenAI于2019年首次发布的GPT-2文本生成器来教授GPT-4，并测试了两种解决方法。其中一种方法是逐步训练更大的模型，以减少每一步的性能损失；另一种方法是对GPT-4进行了算法调整，允许较强的模型遵循较弱模型的指导，而不会削弱其性能。第二种方法被证明更有效，尽管研究人员承认这些方法并不能保证更强的模型会完美运行，但可以将其作为进一步研究的起点。人工智能安全中心主任丹·亨德里克斯（DanHendryks）表示：“很高兴看到OpenAI主动解决控制超级人工智能的问题，我们需要多年的努力来应对这一挑战。”人工智能安全中心是旧金山一家致力于管理人工智能风险的非营利组织。阿森布伦纳与“超级对齐”团队的其他两名成员科林·伯恩斯（CollinBurns）和帕维尔·伊兹梅洛夫（PavelIzmailov）在接受采访时均表示，他们为迈出重要的第一步感到鼓舞，认为这有助于驯服潜在的超级人工智能。伊兹梅洛夫打了个比方：“就像一个六年级的学生，尽管他们比大学数学专业的学生所掌握的数学知识要少，但他们仍然能够向大学生传达他们想要达到的目标，而这正是我们所追求的效果。”“超级对齐”团队由OpenAI的首席科学家和联合创始人伊利亚·苏茨凯弗（IlyaSutskever）共同领导。苏茨凯弗也是上个月投票解雇首席执行官萨姆·奥特曼（SamAltman）的原董事会成员之一。不过后来他撤回了这一决定，并威胁说如果不让奥特曼复职，他就辞职。苏茨凯弗是这篇最新论文的合著者，但OpenAI拒绝让他讨论这个项目。上个月，奥特曼与OpenAI达成了协议，董事会的大部分成员都已经辞职，苏茨凯弗在OpenAI的未来也充满了不确定性。尽管如此，阿森布伦纳表示：“我们非常感谢苏茨凯弗，他是这个项目的推动者。”在人工智能领域，OpenAI的研究人员并不是第一个尝试使用现有技术来测试有助于驯服未来人工智能系统的团队。然而，与之前的企业和学术实验室的研究一样，我们无法确定在精心设计的实验中有效的想法在未来是否实用。研究人员将让一个较弱的人工智能模型训练一个更强的人工智能模型，他们称这种能力为“解决更广泛的‘超级对齐’问题的关键组成部分”。这种人工智能对齐实验也引发了一个关键问题：控制系统的可信度有多高？OpenAI新技术的核心在于，更强大的人工智能系统能够自己决定可以忽略较弱系统的哪些指导，这种选择可能会使其忽略可能阻止其未来以不安全方式行事的重要信息。为了使这样的系统有效，需要在提供一致性方面取得进展。伯恩斯强调：“你最终需要高度的信任。”加州大学伯克利分校研究人工智能安全的教授斯图尔特·拉塞尔（StuartRussell）表示，使用不那么强大的人工智能模型来控制更强大人工智能模型的想法已经存在了一段时间。但他也指出，到目前为止，我们还不清楚用于教授人工智能行为的方法是否可行，因为它们尚未能使当前的模型可靠地运行。尽管OpenAI正在迈出控制更先进人工智能的第一步，但该公司也渴望获得外界的帮助。OpenAI宣布将与谷歌前首席执行官埃里克·施密特（EricSchmidt）合作，向外部研究人员提供1000万美元的资助，以鼓励他们在从弱到强的监管、高级模型的可解释性以及针对旨在打破限制的提示下加强模型等领域取得进展。参与撰写这篇新论文的研究人员表示，OpenAI明年还将举行一次关于“超级对齐”的会议。作为OpenAI的联合创始人，也是“超级对齐”团队的联合负责人，他领导了该公司许多最重要的技术工作。同时，他也是越来越担心如何控制人工智能的知名专家之一，因为人工智能变得越来越强大。今年以来，如何控制未来人工智能技术的问题获得了新的关注，这在很大程度上归功于ChatGPT的影响。苏茨凯弗曾在深度神经网络先驱杰弗里·辛顿（GeoffreyHinton）的指导下攻读博士学位。后者于今年5月离开谷歌，以警告人们人工智能在某些任务中似乎正在接近人类的水平。（小小）...PC版：https://www.cnbeta.com.tw/articles/soft/1404653.htm手机版：https://m.cnbeta.com.tw/view/1404653.htm

研究：OpenAI模型在评估眼疾方面几乎与医生不相上下

研究：OpenAI模型在评估眼疾方面几乎与医生不相上下一项研究显示，OpenAI最新的人工智能模型在分析眼部状况方面几乎与专家医生不相上下。这项研究突显了该技术在医学领域的潜力。根据周三发表的一篇论文，GPT-4模型在评估眼部问题和建议治疗方面，超过或达到了除得分最高的专业医生之外所有人的得分。发表在《公共科学图书馆数字健康》杂志上的一篇论文的主要作者ArunThirunavukarasu说：“这项工作表明，这些大型语言模型在眼睛健康方面的知识和推理能力现在几乎与专家无法区分。”Thirunavukarasu在剑桥大学临床医学院学习期间进行了这项研究，他表示：“我们现在正在以一种更加开放的方式进行训练，并发现这些模型几乎具备了它们没有被明确训练的能力。”伦敦大学学院(UCL)人工医学智能教授皮尔斯•基恩表示，这项最新研究“令人兴奋”，其利用人工智能对专家的表现进行基准测试的想法“超级有趣”。同时也隶属于伦敦摩尔菲尔德眼科医院的基恩认为，在将这项技术应用于临床之前，还需要做更多的工作。——

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI和Meta准备推出具有“推理”能力的新人工智能模型OpenAI和Meta即将发布新的人工智能模型，他们表示这些模型将具备推理和规划的能力，这是在机器中实现超人认知的关键步骤。本周，OpenAI和Meta的高管表示，他们正准备推出其大型语言模型的下一个版本。Meta表示将在未来几周内开始推出Llama3，而微软支持的OpenAI表示，其下一个模型GPT-5将“很快”推出。Meta人工智能研究副总裁乔尔•皮诺表示：“我们正在努力研究如何让这些模型不仅能说话，还能真正推理、规划……拥有记忆”。OpenAI首席运营官布拉德•莱特卡普在接受记者采访时表示，下一代GPT将在解决推理等“难题”方面取得进展。他说：“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为，我们才刚刚开始触及这些模型推理能力的表面。”——（）