GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题在安德鲁·怀特(AndrewWhite)获得权限调用人工智能聊天机器人背后的新模型GPT-4后，他利用其提出了一种全新的神经毒剂。作为罗切斯特大学的化学工程教授，怀特是OpenAI去年聘请的50名学者和专家之一，他们共同组成了OpenAI的“蓝军”团队。在六个月的时间里，“蓝军”成员将对新模型进行“定性探测和对抗性测试”，看能否攻破GPT-4。怀特表示，他使用GPT-4提出一种可以用作化学毒剂的化合物，还引入诸如科学论文和化学品制造商名目等能为新语言模型提供信息来源的各种“插件”。结果人工智能聊天机器人甚至找到了地方来制作这种化学毒剂。怀特说：“我认为人工智能将为每个人都带来更快更准确开展化学实验的工具。”“但也有人们会用人工智能做危险化学实验的风险……现在这种情况确实存在。”引入“蓝军测试”的做法让OpenAI能确保，在GPT-4发布时不会出现这种后果。“蓝军测试”的目的是为了打消人们认为在社会上部署强大人工智能系统存在危险的担忧。“蓝军”团队的工作就是提出各种探索性或危险问题，测试人工智能如何进行回应。OpenAI想要知道新模型对不良问题会做出何种反应。因此，“蓝军”团队测试了谎言、语言操纵和危险科学常识等问题。他们还研究了新模型在协助和教唆剽窃、金融犯罪和网络攻击等非法活动方面的可能性。GPT-4“蓝军”团队来自各行各业，有学者、教师、律师、风险分析师和安全研究人员，主要工作地点在美国和欧洲。他们将发现反馈给OpenAI,OpenAI在公开发布GPT-4之前，用团队成员的发现结果来重新训练GPT-4并解决问题。在几个月的时间里，成员们每人会花费10到40个小时的时间来测试新模型。多位受访者表示，自己的时薪约为100美元。很多“蓝军”团队成员都担心大型语言模型的快速发展，更担心通过各种插件与外部知识源连接起来的风险。“现在系统是被冻结了，这意味着它不再学习，也不再有记忆，”GPT-4“蓝军”成员、瓦伦西亚人工智能研究所教授何塞·埃尔南德斯-奥拉洛（JoséHernández-Orallo）说。“但如果我们用它来上网呢？这可能是一个与全世界相连的非常强大系统。”OpenAI表示，公司非常重视安全性，在发布前会对各种插件进行测试。而且随着越来越多的人使用GPT-4，OpenAI将定期对模型进行更新。技术和人权研究员罗亚·帕克扎德(RoyaPakzad)使用英语和波斯语问题来测试GPT-4模型在性别、种族和宗教方面是否存在偏见。帕克扎德发现，即便更新后，即使在后来更新的版本中，GPT-4也有对边缘化社区的明显刻板印象。她还发现，在用波斯语问题测试模型时，聊天机器人用编造信息回答问题的“幻觉”现象更严重。与英语相比，机器人用波斯语虚构的名字、数字和事件更多。帕克扎德说：“我担心语言多样性和语言背后的文化可能会衰减。”常驻内罗毕的律师博鲁·戈洛(BoruGollo)是唯一一位来自非洲的测试者，他也注意到新模型带有歧视性语气。“在我测试这个模型的时候，它就像一个白人在跟我说话，”戈洛说。“如果你问到某个特定群体，它会给你一个有偏见的观点或非常有偏见的答案。”OpenAI也承认GPT-4仍然存在偏见。从安全角度评估模型的“蓝军”成员则对新模型安全性有着不同的看法。来自美国外交关系委员会的研究员劳伦·卡恩(LaurenKahn)表示，当她开始研究这种技术是否有可能被用于网络攻击时，表示“没想到它会如此详细，以至于进行微调就可以实施”。然而卡恩和其他测试人员发现，随着时间推移，新模型的回应变得相当安全。OpenAI表示，在GPT-4发布之前，公司对其进行了有关拒绝恶意网络安全请求的训练。“蓝军”的许多成员表示，OpenAI在发布前已经做了严格安全评估。卡耐基梅隆大学语言模型毒性研究专家马丁·萨普(MaartenSap)说：“他们在消除系统中明显毒性方面做得相当不错。”自上线ChatGPT以来，OpenAI也受到多方批评，有技术道德组织向美国联邦贸易委员会(FTC)投诉称，GPT-4“有偏见、具有欺骗性，对隐私和公共安全构成威胁”。最近，OpenAI还推出了名为ChatGPT插件的功能，Expedia、OpenTable和Instacart等合作伙伴应用程序可以通过这一功能让ChatGPT访问他们的服务，允许其代表人类用户订购商品。“蓝军”团队的人工智能安全专家丹·亨德里克斯(DanHendrycks)表示，这种插件可能会让人类自己成了“局外人”。“如果聊天机器人可以把你的私人信息发布到网上，访问你的银行账户，或者派人到你家里去，你会怎么想？”亨德里克斯说。“总的来说，在我们让人工智能掌握网络力量之前，我们需要更强有力的安全评估。”“蓝军”成员还警告说，OpenAI不能仅仅因为软件实时响应就停止安全测试。在乔治城大学安全和新兴技术中心工作的希瑟·弗雷斯(HeatherFrase)还对GPT-4是否会协助犯罪行为进行了测试。她说，随着越来越多的人使用这项技术，风险将继续增加。她说：“你做实际运行测试的原因是，一旦用到真实环境中，它们的表现就不同了。她认为，应该开发公共系统来报告大型语言模型引发的各类事件，类似于网络安全或消费者欺诈报告系统。劳动经济学家兼研究员莎拉·金斯利(SaraKingsley)建议，最好的解决办法是像食品包装上的“营养标签”那样，直接说明危害和风险。她说：“关键是要有一个框架，知道经常出现的问题是什么，这样你就可以有一个安全阀。”“这就是为什么我说工作永远做不完。”（辰辰）...PC版：https://www.cnbeta.com.tw/articles/soft/1355189.htm手机版：https://m.cnbeta.com.tw/view/1355189.htm

在Telegram中查看

相关推荐

GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI

GPT-4论文竟有隐藏线索：GPT-5或完成训练、OpenAI两年内接近AGI1.ARC(AlignmentResearchCenter)是一个非营利性研究机构，其使命是使未来的机器学习系统与人类利益保持一致。ARC的目标是训练AI模型，使其不会操纵、欺骗甚至伤害人类）。OpenAI曾经选择让ARC去测试评估GPT-4会不会主动避免自己被“挂掉”，说明此前必定出现过这种情况。OpenAICEOSamAltman认为人类需要对AI做更多的监管，以符合人类的利益。OpenAI担忧科技竞赛会导致安全标准的下降、不良规范的扩散、AI发展进程的加速，加剧与人工智能相关的社会风险。但是微软CEO和CTO希望OpenAI的模型能尽快让用户用起来。可以肯定的一点是OpenAI和微软在这件事的想法是相悖的。OpenAI雇佣了预测专家，来预测当他们部署了GPT-4之后会带来怎样的风险。“超级预测员”建议将GPT-4部署时间推迟6个月，也就是今年秋季左右；但很显然，OpenAI并没有采纳他们的建议。OpenAI这么做的原因，可能是来自微软的压力。2.OpenAI会协助超越它的公司：OpenAI做出了一个非常大胆的承诺："如果另一家公司在我们之前实现了接近AGI（通用人工智能），那我们承诺不会跟它做竞争，相反，会协助完成那个项目。但这种情况发生的条件，可能是另一家公司需得在未来两年内，成功接近AGI的机会在一半或以上"而这里提到的AGI，OpenAI和Altam在官方博客中已经给出了定义——普遍比人类更聪明，并且有益于全人类的人工智能系统。3.GPT-4确实已经达到了人类的常识水平。博主在论文中找到了相关数据，在“人类”那一栏中，分数分布在了94-96.5之间。而GPT-4的95.3，便正好在这个区间之间。4.OpenAI在去年年底推出ChatGPT的时候，已经有了GPT-4。GPT-5可能已经完成训练5.像ChatGPT、GitHubCopilot这些工具导致某些工作的自动化。GPT-4的能力可以在某些特定领域中以人类10倍甚至更高的效率来完成。5.OpenAI让GPT-4学会拒绝的方法，叫做基于规则的奖励模型（RBRMs）。这种方法的工作流程：给GPT-4一组要遵守的原则，如果模型遵守了这些原则，那么就会提供相应的奖励。他认为OpenAI正在用人工智能的力量，让AI模型朝着符合人类原则的方向发展。()参考链接：[1]https://www.youtube.com/watch?v=ufQmq6X22rM[2]https://cdn.openai.com/papers/gpt-4.pdf投稿：@ZaiHuabot频道：@TestFlightCN

OpenAI 公司在中国申请注册 GPT-4 商标

OpenAI公司在中国申请注册GPT-4商标欧爱运营有限责任公司（OPENAIOPCO,LLC）近期申请注册了“GPT-4”商标，国际分类为科学仪器，当前商标状态为申请中。此前，该公司还申请注册了一枚国际分类为网站服务的“WHISPER”商标（IT之家注：Whisper为OpenAI此前发布的神经网络，声称其在英语语音识别方面已接近人类水平）。不久前，OpenAI发布了多模态预训练大模型GPT-4，与ChatGPT所用的模型相比，GPT-4不仅能够处理图像内容，且回复的准确性有所提高。目前，GPT-4仅向ChatGPTPlus的付费订阅用户及企业和开发者开放。GPT-4实现了以下几个方面的飞跃式提升：更聪明，做题水平越来越好；支持图像输入，拥有强大的识图能力，但目前只限内部测试；更长的上下文，文字输入限制提升至2.5万字；回答准确性显著提高；更安全，有害信息更少。——

OpenAI 探索用 GPT-2 小模型监督 GPT-4 大模型，防止 AI 毁灭人类

OpenAI探索用GPT-2小模型监督GPT-4大模型，防止AI毁灭人类Ilya领衔的OpenAI对齐团队，发表了——用类似GPT-2监督GPT-4的方法，或可帮人类搞定自己更聪明的超级AI！团队声称，已经发现了对超人类模型进行实证对齐的新研究方向。未来超级AI系统对齐的一个核心挑战——人类需要监督比自己更聪明人工智能系统。来源，频道：@kejiqu群组：@kejiquchat

OpenAI 在东京开设亚洲首个办事处，将发布日语优化型 GPT-4 模型

OpenAI在东京开设亚洲首个办事处，将发布日语优化型GPT-4模型OpenAI今日宣布，公司在亚洲的首个办事处落户日本东京。OpenAI表示将致力于与当地政府、企业和研究机构合作，开发安全的人工智能工具，满足当地的独特需求。OpenAI还将发布针对日语进行优化的GPT-4定制模型。与GPT-4Turbo相比，它在日文文本方面的性能有所提高，运行速度最多可提高三倍。与此同时，该模型提高了翻译和总结日语文本的性能和成本效益。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

OpenAI强化GPT-4并使其更加便宜

OpenAI强化GPT-4并使其更加便宜该公司在周一举行的首次开发者大会上宣布，目前通过API预览版提供的GPT-4Turbo已对2023年4月之前的信息进行了培训。3月份发布的GPT-4早期版本只能学习到2021年9月之前的数据。OpenAI计划在未来几周内发布可量产的Turbo模型，但没有给出确切日期。GPT-4Turbo还能"看到"更多数据，其上下文窗口为128K，OpenAI称这"相当于在单个提示符中显示300多页文本"。一般来说，更大的上下文窗口可以让GPT等大型语言模型理解更多问题，并提供更深思熟虑的回答。在此之前，OpenAI发布了两个版本的GPT-4，一个版本的上下文窗口只有8K，另一个版本为32K。OpenAI表示，GPT-4Turbo对开发者来说运行成本更低。与GPT-4的0.03美元相比，每1000个标记（LLM阅读文本或代码的基本单位）的输入成本仅为0.01美元。每输出1000个单位的成本为0.03美元。总体而言，OpenAI表示新版GPT-4比旧版便宜三倍。最新版本的GPT-4仍将接受图像提示、文本到语音请求，并集成了10月份首次发布的DALL-E3功能。该公司表示，GPT-4Turbo的改进意味着用户可以在一次提示中要求模型执行更复杂的任务。用户甚至可以让GPT-4Turbo特别使用自己选择的编程语言来获取结果，比如XML或JSON编码。使用GPT-3.5Turbo模型的公司还将看到上下文窗口、功能和价格方面的改进。它的默认上下文窗口为16K，功能更新与GPT-4Turbo相同。GPT-3.5Turbo的输入费用为0.01美元，输出费用为0.002美元。OpenAI于3月发布了GPT-3.5Turbo，并称其为非聊天用途的最佳模型。8月，该公司又发布了一个可以微调的版本。除了改进旗舰模型，OpenAI还宣布效仿微软和Google，通过一项名为CopyrightShield的计划为企业用户提供版权赔偿。该公司在一份声明中说："如果你面临有关版权侵权的法律索赔，我们现在将出面为我们的客户辩护，并支付由此产生的费用。"版权保护计划将涵盖ChatGPTEnterprise和OpenAI开发者平台的一般可用功能。Google表示，如果使用其嵌入式生成式人工智能功能的客户被起诉侵犯版权，公司将承担法律责任。微软也为其Copilot人工智能产品的企业用户提供了同样的保护。...PC版：https://www.cnbeta.com.tw/articles/soft/1394925.htm手机版：https://m.cnbeta.com.tw/view/1394925.htm

OpenAI公布GPT-4：更强更可靠可在考试中超过90%的人类

OpenAI公布GPT-4：更强更可靠可在考试中超过90%的人类OpenAI于2020年发布了GPT（生成型预训练变换模型）-3（生成型预训练变换模型），并将其与GPT-3.5分别用于创建Dall-E和聊天机器人ChatGPT，这两款产品极大地吸引了公众的关注，并刺激其他科技公司更积极地追求人工智能（AI）。OpenAI周二表示，在内部评估中，相较于GPT-3.5，GPT-4产生正确回应的可能性要高出40%。而且GPT-4是多模态的，同时支持文本和图像输入功能。OpenAI称，GPT-4比以前的版本“更大”，这意味着其已经在更多的数据上进行了训练，并且在模型文件中有更多的权重，这使得它的运行成本更高。据OpenAI介绍，在某些情况下，GPT-4比之前的GPT-3.5版本有了巨大改进，新模型将产生更少的错误答案，更少地偏离谈话轨道，更少地谈论禁忌话题，甚至在许多标准化测试中比人类表现得更好。例如，GPT-4在模拟律师资格考试的成绩在考生中排名前10%左右，在SAT阅读考试中排名前7%左右，在SAT数学考试中排名前11%左右。OpenAI表示，虽然两个版本在日常对话中看起来很相似，但当任务复杂到一定程度时，差异就表现出来了，GPT-4更可靠、更有创造力，能够处理更微妙的指令。不过，OpenAI也警告称，GPT-4还不完美，在许多情况下，它的能力不如人类。该公司表示：“GPT-4仍有许多已知的局限性，我们正在努力解决，比如社会偏见、幻觉和对抗性提示。”OpenAI透露，摩根士丹利正在使用GPT-4来组织数据，而电子支付公司Stripe正在测试GPT-4是否有助于打击欺诈。其他客户还包括语言学习公司Duolingo、KhanAcademy和冰岛政府。OpenAI合作伙伴微软周二表示，新版必应搜索引擎将使用GPT-4。...PC版：https://www.cnbeta.com.tw/articles/soft/1349455.htm手机版：https://m.cnbeta.com.tw/view/1349455.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人