【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】

【OpenAI将用新方法来训练模型，以对抗人工智能“幻觉】6月1日消息，OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。人工智能幻觉指的是人工智能模型生成内容的能力，这些内容不是基于任何现实世界的数据，而是模型自己想象的产物。人们担心这种幻觉可能带来的潜在问题，包括道德、社会和实际问题。OpenAI的研究人员在报告中表示，即使是最先进的人工智能模型也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重，因为一个逻辑错误就足以破坏一个更大的解决方案。该公司提出的新策略是：训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是结果监督，它可能会提高人工智能的性能与准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。

人工智能的错误不是“幻觉”，而是“一本正经地胡说八道”

人工智能的错误不是“幻觉”，而是“一本正经地胡说八道”格拉斯哥大学的研究人员最近指出，人工智能生成的不准确内容，最好被理解为“胡说八道”（bullshit），而非“幻觉”（hallucinations）。相较于多线程的人类大脑，LLMs目标更为单一：生成与人类语言非常相似的文本，即复制人类言语和写作模式和结构，而非理解或传达事实信息。“AI幻觉”这一术语表明LLMs存在感知错误，类似于人类看到不存在的东西。然而，一些学者认为这个比喻具有误导性，因为它暗示人工智能有感知和传达真理的视角或意图，但它们并没有信念、意图或理解——模型只是纯粹根据从训练数据中得出的统计模式对文本进行处理，而非关注事实性。这也就让LLMs看起来在“胡言乱语”：其言论看似有理，但却没有任何事实依据。研究最后指出，AI产生的错误称为“幻觉”并不是无害的，因为这会让人感到困惑，误以为机器在某种程度上产生了误解，但仍然试图传达它们相信或已经感知到的东西。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

OpenAI 和 Meta 准备推出具有“推理”能力的新人工智能模型

OpenAI和Meta准备推出具有“推理”能力的新人工智能模型OpenAI和Meta即将发布新的人工智能模型，他们表示这些模型将具备推理和规划的能力，这是在机器中实现超人认知的关键步骤。本周，OpenAI和Meta的高管表示，他们正准备推出其大型语言模型的下一个版本。Meta表示将在未来几周内开始推出Llama3，而微软支持的OpenAI表示，其下一个模型GPT-5将“很快”推出。Meta人工智能研究副总裁乔尔•皮诺表示：“我们正在努力研究如何让这些模型不仅能说话，还能真正推理、规划……拥有记忆”。OpenAI首席运营官布拉德•莱特卡普在接受记者采访时表示，下一代GPT将在解决推理等“难题”方面取得进展。他说：“我们将开始看到人工智能能够以更复杂的方式完成更复杂的任务。”“我认为，我们才刚刚开始触及这些模型推理能力的表面。”——（）

人工智能政策小组称，FTC 应阻止 OpenAI 推出新的 GPT 模型

人工智能政策小组称，FTC应阻止OpenAI推出新的GPT模型人工智能和数字政策中心(CenterforAIandDigitalPolicy，简称CAIDP)日前提出投诉，要求美国联邦贸易委员会(FederalTradeCommission，FTC)调查OpenAI违反消费者保护规则的行为，认为OpenAI推出的人工智能文本生成工具“有偏见，有欺骗性，并对公共安全构成风险”。CAIDP认为，GPT-4越过了伤害消费者的界限，应该引起监管行动。在投诉中，CAIDP要求FTC停止任何进一步的GPT模式的商业部署，并要求在未来推出任何模式之前对其进行独立评估。FTC已经表达了对人工智能工具的监管兴趣。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

OpenAI 表示已开始训练新的旗舰人工智能模型

OpenAI表示已开始训练新的旗舰人工智能模型OpenAI周二表示，它已开始训练一种新的旗舰人工智能模型，该模型将取代驱动其流行在线聊天机器人ChatGPT的GPT-4技术。OpenAI在一篇博客文章中表示，希望新模型能够带来“更高水平的能力”，因为该公司致力于打造“通用人工智能”，即能够做任何人类大脑能做的事情的机器。新模型将成为人工智能产品的引擎，包括聊天机器人、类似于苹果Siri的数字助理、搜索引擎和图像生成器。——，

OpenAI发表研究论文 介绍了一种逆向工程AI模型工作原理的方法

OpenAI发表研究论文介绍了一种逆向工程AI模型工作原理的方法在论文中，该公司的研究人员提出了一种窥探为ChatGPT提供动力的人工智能模型内部的方法。他们设计了一种方法来识别模型如何存储某些概念--包括那些可能导致人工智能系统行为失常的概念。虽然这项研究使OpenAI在控制人工智能方面的工作更加引人注目，但也凸显了该公司最近的动荡。新研究由OpenAI最近解散的"超对齐"团队完成，该团队致力于研究技术的长期风险。前小组的共同负责人伊利亚-苏茨克沃（IlyaSutskever）和扬-莱克（JanLeike）均已离开OpenAI，并被列为共同作者。苏茨克沃是OpenAI的创始人之一，曾任首席科学家，去年11月，董事会成员投票解雇了首席执行官山姆-奥特曼（SamAltman），引发了几天的混乱，最终奥特曼重返领导岗位。ChatGPT由一个名为GPT的大型语言模型系列提供支持，该模型基于一种被称为人工神经网络的机器学习方法。这些数学网络通过分析示例数据显示出了学习有用任务的强大能力，但它们的工作原理无法像传统计算机程序那样被轻易检查。人工神经网络中各层"神经元"之间复杂的相互作用，使得逆向分析ChatGPT这样的系统为何会得出特定的反应极具挑战性。这项工作背后的研究人员在一篇随附的博文中写道："与大多数人类创造物不同，我们并不真正了解神经网络的内部运作。一些著名的人工智能研究人员认为，包括ChatGPT在内的最强大的人工智能模型或许可以用来设计生化武器和协调网络攻击。一个更长期的担忧是，人工智能模型可能会选择隐藏信息或以有害的方式行事，以实现它们的目标。"OpenAI的这篇新论文概述了一种技术，该技术借助额外的机器学习模型，识别代表机器学习系统内部特定概念的模式，从而稍稍降低了神秘感。创新的关键在于通过识别概念来完善用于窥探系统内部的网络，从而提高效率。OpenAI通过在其最大的人工智能模型之一GPT-4中识别代表概念的模式证明了这种方法。该公司发布了与可解释性工作相关的代码，以及一个可视化工具，用于查看不同句子中的单词如何激活GPT-4和另一个模型中的概念，包括亵渎和色情内容。了解一个模型是如何表现某些概念的，这将有助于减少与不受欢迎的行为相关的概念，使人工智能系统保持正常运行。它还可以调整人工智能系统，使其偏向于某些主题或想法。尽管LLM无法被轻易解读，但越来越多的研究表明，它们可以被穿透，从而揭示出有用的信息。由亚马逊和Google支持的OpenAI竞争对手Anthropic上个月也发表了类似的人工智能可解释性研究成果。为了演示如何调整人工智能系统的行为，该公司的研究人员创造了一个痴迷于旧金山金门大桥的聊天机器人。有时，只需让人工只能机器人解释其推理过程，就能获得深刻的见解。东北大学从事人工智能可解释性研究的教授大卫-鲍（DavidBau）在谈到OpenAI的新研究时说："这是令人兴奋的进展。"作为一个领域，我们需要学习如何更好地理解和审视这些大型模型。"鲍说，OpenAI团队的主要创新在于展示了一种配置小型神经网络的更有效方法，该网络可用于理解大型神经网络的组成部分。但他也指出，这项技术还需要改进，以使其更加可靠。要利用这些方法创造出完全可以理解的解释，还有很多工作要做。"鲍是美国政府资助的一项名为"国家深度推理结构"（NationalDeepInferenceFabric）的工作的一部分，这项工作将向学术研究人员提供云计算资源，以便他们也能探索特别强大的人工智能模型。他说："我们需要想办法让科学家即使不在这些大公司工作，也能从事这项工作。"OpenAI的研究人员在论文中承认，要改进他们的方法还需要进一步的工作，但他们也表示，希望这种方法能带来控制人工智能模型的实用方法。他们写道："我们希望有一天，可解释性能为我们提供推理模型安全性和鲁棒性的新方法，并通过为强大的人工智能模型的行为提供强有力的保证，大大增加我们对它们的信任。"阅读论文全文：https://cdn.openai.com/papers/sparse-autoencoders.pdf...PC版：https://www.cnbeta.com.tw/articles/soft/1433886.htm手机版：https://m.cnbeta.com.tw/view/1433886.htm