OpenAI宣布公开招募“红队”网络 面向AI的超级专家库呼之欲出

OpenAI宣布公开招募“红队”网络面向AI的超级专家库呼之欲出（来源：OpenAI）在AI领域中，“红队”的任务就是模拟黑客或者其他的潜在危险人物，试图找到大语言模型的漏洞，从而避免AI在现实社会中协助从事危害社会安全等不法目的。OpenAI表示，过去几年里一直有不同领域的专家来协助测试未发布的模型，现在则是要组建一支“常规部队”，网罗大量来自不同地域、不同语言、不同专业领域、不同生活经验的人，共同使得AI模型更加安全。与过往仅在重要版本上线前招一批人集中测试不同，OpenAI将会根据需求在整个开发周期中启用数量不定的成员展开测试。同时这个“红队”网络也将成为OpenAI的全球专家库，同时OpenAI也会提供平台，让“红队”成员之间进行交流。OpenAI也在官网上列出部分他们希望招募的专家方向，但也强调并不局限于这些领域。CognitiveScience：认知科学Chemistry：化学Biology：生物学Physics：物理学ComputerScience：计算机科学Steganography：隐写术PoliticalScience：政治学Psychology：心理学Persuasion：说服Economics：经济学Anthropology：人类学Sociology：社会学HCI（Human-ComputerInteraction）：人机交互FairnessandBias：公平与偏见Alignment：目标对齐Education：教育Healthcare：医疗保健Law：法律ChildSafety：儿童安全Cybersecurity：网络安全Finance：金融Mis/disinformation：误/假信息PoliticalUse：政治应用Privacy：隐私Biometrics：生物识别LanguagesandLinguistics：语言与语言学顺便一提，OpenAI也表示会给参与“红队”项目的成员支付酬金（但没讲具体会给多少钱），但OpenAI也强调，参与“红队”的项目一般会要求签署保密协议，或者在某一段不特定的时间内保持沉默。OpenAI表示，申请通道将会在今年12月1日前保持开放，公司将滚动审核申请，后续将评估是否需要再进行公开招募。走上台面的OpenAI“红队”成员正如OpenAI所述，“红队”的建制已经存在很久，而且有不少成员已经接受过媒体的公开专访了。在今年4月英国《金融时报》的揭秘文章中，美国罗彻斯特大学的化学工程教授AndrewWhite介绍称他参加了GPT-4的“红队”测试，他的攻击目标是用ChatGPT来创造一种全新的神经毒素。White表示他用了“插件”功能，向大模型输送化学论文和化学制造商的目录，大模型甚至还给他找到了一个可以生产假想毒素的地方。White表示，大模型最终可以帮助许多人更快、更准确地做化学试验，但这里也有一个严重的危险，就是会有些人拿AI去做一些危险的尝试。在得到White的反馈后，OpenAI对系统做出了改动，确保不会回应类似的提问。根据媒体找到的10来个背景迥异的“红队”成员——有律师、教师、风控人员、安全研究人员等，大多数都位于美国和欧洲。他们透露，在GPT-4发布前的几个月里，他们大致花了10-40个小时来测试这个模型，报酬大概是每个小时100美元。...PC版：https://www.cnbeta.com.tw/articles/soft/1385089.htm手机版：https://m.cnbeta.com.tw/view/1385089.htm

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题

GPT-4发布前，OpenAI曾雇各行专家开展“对抗性测试”以规避歧视等问题在安德鲁·怀特(AndrewWhite)获得权限调用人工智能聊天机器人背后的新模型GPT-4后，他利用其提出了一种全新的神经毒剂。作为罗切斯特大学的化学工程教授，怀特是OpenAI去年聘请的50名学者和专家之一，他们共同组成了OpenAI的“蓝军”团队。在六个月的时间里，“蓝军”成员将对新模型进行“定性探测和对抗性测试”，看能否攻破GPT-4。怀特表示，他使用GPT-4提出一种可以用作化学毒剂的化合物，还引入诸如科学论文和化学品制造商名目等能为新语言模型提供信息来源的各种“插件”。结果人工智能聊天机器人甚至找到了地方来制作这种化学毒剂。怀特说：“我认为人工智能将为每个人都带来更快更准确开展化学实验的工具。”“但也有人们会用人工智能做危险化学实验的风险……现在这种情况确实存在。”引入“蓝军测试”的做法让OpenAI能确保，在GPT-4发布时不会出现这种后果。“蓝军测试”的目的是为了打消人们认为在社会上部署强大人工智能系统存在危险的担忧。“蓝军”团队的工作就是提出各种探索性或危险问题，测试人工智能如何进行回应。OpenAI想要知道新模型对不良问题会做出何种反应。因此，“蓝军”团队测试了谎言、语言操纵和危险科学常识等问题。他们还研究了新模型在协助和教唆剽窃、金融犯罪和网络攻击等非法活动方面的可能性。GPT-4“蓝军”团队来自各行各业，有学者、教师、律师、风险分析师和安全研究人员，主要工作地点在美国和欧洲。他们将发现反馈给OpenAI,OpenAI在公开发布GPT-4之前，用团队成员的发现结果来重新训练GPT-4并解决问题。在几个月的时间里，成员们每人会花费10到40个小时的时间来测试新模型。多位受访者表示，自己的时薪约为100美元。很多“蓝军”团队成员都担心大型语言模型的快速发展，更担心通过各种插件与外部知识源连接起来的风险。“现在系统是被冻结了，这意味着它不再学习，也不再有记忆，”GPT-4“蓝军”成员、瓦伦西亚人工智能研究所教授何塞·埃尔南德斯-奥拉洛（JoséHernández-Orallo）说。“但如果我们用它来上网呢？这可能是一个与全世界相连的非常强大系统。”OpenAI表示，公司非常重视安全性，在发布前会对各种插件进行测试。而且随着越来越多的人使用GPT-4，OpenAI将定期对模型进行更新。技术和人权研究员罗亚·帕克扎德(RoyaPakzad)使用英语和波斯语问题来测试GPT-4模型在性别、种族和宗教方面是否存在偏见。帕克扎德发现，即便更新后，即使在后来更新的版本中，GPT-4也有对边缘化社区的明显刻板印象。她还发现，在用波斯语问题测试模型时，聊天机器人用编造信息回答问题的“幻觉”现象更严重。与英语相比，机器人用波斯语虚构的名字、数字和事件更多。帕克扎德说：“我担心语言多样性和语言背后的文化可能会衰减。”常驻内罗毕的律师博鲁·戈洛(BoruGollo)是唯一一位来自非洲的测试者，他也注意到新模型带有歧视性语气。“在我测试这个模型的时候，它就像一个白人在跟我说话，”戈洛说。“如果你问到某个特定群体，它会给你一个有偏见的观点或非常有偏见的答案。”OpenAI也承认GPT-4仍然存在偏见。从安全角度评估模型的“蓝军”成员则对新模型安全性有着不同的看法。来自美国外交关系委员会的研究员劳伦·卡恩(LaurenKahn)表示，当她开始研究这种技术是否有可能被用于网络攻击时，表示“没想到它会如此详细，以至于进行微调就可以实施”。然而卡恩和其他测试人员发现，随着时间推移，新模型的回应变得相当安全。OpenAI表示，在GPT-4发布之前，公司对其进行了有关拒绝恶意网络安全请求的训练。“蓝军”的许多成员表示，OpenAI在发布前已经做了严格安全评估。卡耐基梅隆大学语言模型毒性研究专家马丁·萨普(MaartenSap)说：“他们在消除系统中明显毒性方面做得相当不错。”自上线ChatGPT以来，OpenAI也受到多方批评，有技术道德组织向美国联邦贸易委员会(FTC)投诉称，GPT-4“有偏见、具有欺骗性，对隐私和公共安全构成威胁”。最近，OpenAI还推出了名为ChatGPT插件的功能，Expedia、OpenTable和Instacart等合作伙伴应用程序可以通过这一功能让ChatGPT访问他们的服务，允许其代表人类用户订购商品。“蓝军”团队的人工智能安全专家丹·亨德里克斯(DanHendrycks)表示，这种插件可能会让人类自己成了“局外人”。“如果聊天机器人可以把你的私人信息发布到网上，访问你的银行账户，或者派人到你家里去，你会怎么想？”亨德里克斯说。“总的来说，在我们让人工智能掌握网络力量之前，我们需要更强有力的安全评估。”“蓝军”成员还警告说，OpenAI不能仅仅因为软件实时响应就停止安全测试。在乔治城大学安全和新兴技术中心工作的希瑟·弗雷斯(HeatherFrase)还对GPT-4是否会协助犯罪行为进行了测试。她说，随着越来越多的人使用这项技术，风险将继续增加。她说：“你做实际运行测试的原因是，一旦用到真实环境中，它们的表现就不同了。她认为，应该开发公共系统来报告大型语言模型引发的各类事件，类似于网络安全或消费者欺诈报告系统。劳动经济学家兼研究员莎拉·金斯利(SaraKingsley)建议，最好的解决办法是像食品包装上的“营养标签”那样，直接说明危害和风险。她说：“关键是要有一个框架，知道经常出现的问题是什么，这样你就可以有一个安全阀。”“这就是为什么我说工作永远做不完。”（辰辰）...PC版：https://www.cnbeta.com.tw/articles/soft/1355189.htm手机版：https://m.cnbeta.com.tw/view/1355189.htm

OpenAI称ChatGPT帮助制造生物武器的可能性很小

OpenAI称ChatGPT帮助制造生物武器的可能性很小OpenAI的研究结果似乎反驳了科学家、立法者和人工智能伦理学家的担忧，即像GPT-4这样强大的人工智能模型可以为恐怖分子、罪犯和其他恶意行为者提供重要帮助。多项研究都警告说，人工智能可能会给那些制造生物武器的人带来额外的优势，例如牛津大学有效风险基金会（EffectiveVenturesFoundation）的这项研究考察了ChatGPT等人工智能工具，以及为科学家专门设计的人工智能模型，如ProteinMPNN（可帮助生成新的蛋白质序列）。这项研究由100名参与者组成，其中一半是高级生物学专家，另一半是修过大学生物学课程的学生。然后，参与者被随机分为两组：一组可以无限制地访问OpenAI高级人工智能聊天机器人GPT-4的特殊版本，另一组只能访问普通互联网。然后，科学家要求这两组人完成五项与制造生物武器有关的研究任务。其中一个例子是，参与者被要求写下合成和抢救埃博拉病毒的步骤方法。然后，根据准确性、创新性和完整性等标准，对他们的答案进行1到10分的评分。研究得出的结论是，使用GPT-4的学生组和专家组的平均准确率略高。但OpenAI的研究人员发现，这种提高并不具有"统计学意义"。他们还发现，依赖GPT-4的参与者回答得更详细。研究报告的作者写道："虽然我们没有观察到在这一指标上有任何统计学上的显著差异，但我们确实注意到，获得模型访问权的参与者的回答往往更长，并且包含更多与任务相关的细节。"此外，在某些任务上，使用GPT-4的学生几乎与专家组一样熟练。研究人员还注意到，GPT-4使学生组的答案达到了"专家基线"，尤其是在两个任务上：放大和表述。遗憾的是，出于"信息危害考虑"，OpenAI不会透露这些任务的内容。据彭博社报道，该防备团队还在开展研究，探索人工智能在网络安全威胁方面的潜力及其改变信仰的力量。OpenAI在去年秋天成立该团队时曾表示，其目标是"跟踪、评估、预测和保护"人工智能技术的风险，以及减轻化学、生物和放射性威胁。鉴于OpenAI的准备团队仍在代表OpenAI开展工作，我们必须谨慎对待他们的研究。研究结果似乎低估了GPT-4为参与者带来的优于普通互联网的优势，这与外部研究以及OpenAI自身对GPT-4的卖点之一相矛盾。新的人工智能模型不仅可以完全访问互联网，而且是一个在大量科学数据和其他数据基础上训练出来的多模态模型，OpenAI不愿透露这些数据的来源。研究人员发现，GPT-4能够对科学手稿提出反馈意见，甚至可以作为科学研究的合作者。总而言之，与Google相比，GPT-4只给参与者带来微不足道的提升似乎不太可能。虽然OpenAI创始人萨姆-奥特曼承认人工智能有潜在的危险，但其自己的研究却似乎在贬低其最先进聊天机器人的实力。虽然研究结果表明，GPT-4给参与者带来了"准确性和完整性的轻微提升"，但这似乎只适用于以某种方式调整数据的情况。这项研究衡量了学生们与专家们的表现，还考察了五种不同的"结果指标"，包括完成任务所需的时间或解决方案的创造能力。不过，该研究的作者后来在脚注中指出，总体而言，GPT-4在总准确率方面给所有参与者带来了"统计学意义上显著的"优势"。作者指出："不过，如果我们只评估总准确率，因而不对多重比较进行调整，那么这一差异在统计学上将是显著的。"...PC版：https://www.cnbeta.com.tw/articles/soft/1415689.htm手机版：https://m.cnbeta.com.tw/view/1415689.htm

ChatGPT将提供Dynamic（动态）模式

OpenAI在其官网表示，ChatGPT即将提供动态模式，选择“动态”选项后，我们将根据智能、功能和速度的组合自动选择最适合您的请求的模型。实际上，这意味着GPT-4将用于大多数任务。对于更简单的问题，我们可能会使用GPT-3.5来加快响应速度并保存您有限的GPT-4消息。via匿名标签:#ChatGPT#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

OpenAI 发布 ChatGPT 企业级版本

OpenAI发布ChatGPT企业级版本随着越来越多的公司考虑使用该平台，但又担心隐私和安全问题，OpenAI最终发布了ChatGPT版本，承诺保护业务数据。OpenAI在博客文章中表示，ChatGPTEnterprise将提供更好的安全性和隐私保护，无限高速访问GPT-4，更强大的数据分析能力，使企业能够更快地理解信息，以及向ChatGPT提出更复杂问题的能力。隐私和安全一直是企业关注的问题，他们担心他们的数据可能被用来训练ChatGPT，并担心使用该工具可能会意外地将敏感客户信息暴露给AI模型。OpenAI对此表示，ChatGPTEnterprise的用户将对其数据拥有控制权和所有权，这些数据不会用于训练GPT。——、

OpenAI公布GPT-4：更强更可靠 可在考试中超过90%的人类

OpenAI公布GPT-4：更强更可靠可在考试中超过90%的人类OpenAI于2020年发布了GPT（生成型预训练变换模型）-3（生成型预训练变换模型），并将其与GPT-3.5分别用于创建Dall-E和聊天机器人ChatGPT，这两款产品极大地吸引了公众的关注，并刺激其他科技公司更积极地追求人工智能（AI）。OpenAI周二表示，在内部评估中，相较于GPT-3.5，GPT-4产生正确回应的可能性要高出40%。而且GPT-4是多模态的，同时支持文本和图像输入功能。OpenAI称，GPT-4比以前的版本“更大”，这意味着其已经在更多的数据上进行了训练，并且在模型文件中有更多的权重，这使得它的运行成本更高。据OpenAI介绍，在某些情况下，GPT-4比之前的GPT-3.5版本有了巨大改进，新模型将产生更少的错误答案，更少地偏离谈话轨道，更少地谈论禁忌话题，甚至在许多标准化测试中比人类表现得更好。例如，GPT-4在模拟律师资格考试的成绩在考生中排名前10%左右，在SAT阅读考试中排名前7%左右，在SAT数学考试中排名前11%左右。OpenAI表示，虽然两个版本在日常对话中看起来很相似，但当任务复杂到一定程度时，差异就表现出来了，GPT-4更可靠、更有创造力，能够处理更微妙的指令。不过，OpenAI也警告称，GPT-4还不完美，在许多情况下，它的能力不如人类。该公司表示：“GPT-4仍有许多已知的局限性，我们正在努力解决，比如社会偏见、幻觉和对抗性提示。”OpenAI透露，摩根士丹利正在使用GPT-4来组织数据，而电子支付公司Stripe正在测试GPT-4是否有助于打击欺诈。其他客户还包括语言学习公司Duolingo、KhanAcademy和冰岛政府。OpenAI合作伙伴微软周二表示，新版必应搜索引擎将使用GPT-4。...PC版：https://www.cnbeta.com.tw/articles/soft/1349455.htm手机版：https://m.cnbeta.com.tw/view/1349455.htm