25位世界顶尖科学家在《科学》呼吁应采取更强有力行动防范AI风险

25位世界顶尖科学家在《科学》呼吁应采取更强有力行动防范AI风险文章截图:《科学》网站自6个月前在英国布莱奇利公园举行第一届AI安全峰会以来,世界各国领导人承诺以负责任的方式管理AI,但是AI专家认为这依然不够。随着第二届AI安全峰会(5月21日至22日)在韩国首尔举行,25位世界顶尖AI科学家呼吁,全世界应对AI风险采取更强有力的行动。发表于《科学》杂志的一份专家共识文章中,专家组概述了全球应采取的紧急政策优先事项。文章作者之一、英国牛津大学工程科学系教授菲利普·托尔表示:“在上届AI峰会上,世界一致认为我们需要采取行动,而现在是时候将模糊的建议转变为具体的承诺了。”安全性研究严重匮乏这25位全球顶尖的AI及其治理专家来自美国、中国、欧盟、英国和其他AI技术强国,其中包括图灵奖获得者以及诺贝尔奖获得者。这也是首次由国际专家组就AI风险的全球政策制定达成一致。文章指出,全球领导人需认真考虑,在未来十年内可能开发出超越人类能力的通用AI系统。他们表示,尽管世界各国政府一直在讨论先进AI,并尝试引入初步指导方针,但这与许多专家期望的快速、变革性进展仍有距离。目前关于AI安全的研究严重缺乏,只有1%—3%的AI出版物涉及相关安全问题。此外,全球没有适当的机制或机构来防止滥用和鲁莽行为,包括如何使用能独立采取行动和自行实现目标的自治系统。在快速发展中防范极端风险文章建议,各国政府需建立可快速行动的AI监管机构,并为这些机构提供资金。美国AI安全研究所目前的年度预算为1000万美元,听起来并不少,但相比之下,美国食品和药物管理局(FDA)的预算达67亿美元。AI领域需要更严格的风险评估并制定可执行的措施,而不是依赖一些不甚明确的模型评估。应要求AI研发企业优先考虑安全性,并证明其系统不会造成伤害,AI开发人员要承担起证明安全性的责任。人们还要有一个与AI系统带来的风险水平相称的缓解办法,解决之道是制定一个“自动”政策,当AI达到某些能力里程碑时“自动触发”——如果AI发展迅速,这一严格的要求就会自动生效;如果进展缓慢,要求将相应放缓。对于能力超凡的未来AI系统,政府必须作好带头监管的准备。这包括许可开发,限制其在关键社会角色中的自主权,停止部署部分能力,强制执行访问控制,以及要求对国家级黑客采取强有力的信息安全手段,直到人们准备好足够的保护措施。谨记AI不是玩具不列颠哥伦比亚大学AI教授、强化学习领域专家杰夫·克伦纳表示,太空飞行、核武器和互联网等技术在数年内就从科幻变成了现实,AI也不例外。“我们现在必须为那些看似科幻小说的风险做好准备”。现在,AI已经在黑客攻击、社交操纵和战略规划等关键领域取得了快速进展,并可能很快带来前所未有的关于“控制”的挑战。AI系统可能会为了实现某个“不良目的”而骗取人类信任、获取资源并影响关键决策者。为了避免人为干预,它们还可以在全球服务器网络上复制自身算法。在这种情况下,大规模网络犯罪、社会操纵和其他危害会因此迅速升级。而在公开冲突中,AI系统能自主部署各种武器,甚至包括生物武器。因此,当AI的进步不受控制,很可能最终导致大规模生命损失、生物圈破坏、人类边缘化甚至灭绝。美国加州大学伯克利分校计算机科学教授斯图尔特·卢塞尔表示:“此次是权威专家的共识文章,其呼吁政府严格监管,而不是自愿制定一些规范行业的行为。”“企业可能抱怨说满足这些法规太难,但所谓‘法规扼杀创新’的说法是荒谬的。”卢塞尔这样说,“是时候认真对待先进AI系统了,它们不是玩具。在我们了解如何确保它们的安全性之前,轻易增强它们的能力是完全鲁莽的行为。”...PC版:https://www.cnbeta.com.tw/articles/soft/1431826.htm手机版:https://m.cnbeta.com.tw/view/1431826.htm

相关推荐

封面图片

《科学》杂志发文 25 位世界顶尖科学家呼吁:应采取更强有力行动防范 AI 风险

《科学》杂志发文25位世界顶尖科学家呼吁:应采取更强有力行动防范AI风险随着第二届AI安全峰会(5月21日至22日)在韩国首尔举行,25位世界顶尖AI科学家呼吁,全世界应对AI风险采取更强有力的行动。发表于《科学》杂志的一份专家共识文章中,专家组概述了全球应采取的紧急政策优先事项。文章指出,全球领导人需认真考虑,在未来十年内可能开发出超越人类能力的通用AI系统。他们表示,尽管世界各国政府一直在讨论先进AI,并尝试引入初步指导方针,但这与许多专家期望的快速、变革性进展仍有距离。目前关于AI安全的研究严重缺乏,只有1%—3%的AI出版物涉及相关安全问题。此外,全球没有适当的机制或机构来防止滥用和鲁莽行为,包括如何使用能独立采取行动和自行实现目标的自治系统。

封面图片

联合国报告:全球民众寄望采取更强有力气候行动

联合国报告:全球民众寄望采取更强有力气候行动联合国开发计划署20日发布的一项调查报告显示,全球80%的受访民众希望采取更强有力的气候行动。由联合国开发计划署与牛津大学等共同开展的这项关于气候变化的公众意见调查涵盖了77个国家,这些国家人口占全球总人口的87%。该调查旨在了解全球民众对气候变化影响的看法及其对气候行动的期望。调查显示,全球80%的受访民众希望采取更强有力的气候行动。此外,53%的全球受访民众表示比去年更担心气候变化问题;在最不发达国家和小岛屿发展中国家,这一比例更高。

封面图片

中国和西方科学家呼吁对先进人工智加强监管,警告AI未来会对“人类的生存构成威胁

中国和西方科学家呼吁对先进人工智加强监管,警告AI未来会对“人类的生存构成威胁”中国的人工智能科学家与西方学者一起呼吁对这项技术进行比英国、美国和欧盟提议的更严格的控制,各国在本周的全球人工智能安全峰会之前摆出了相互竞争的立场。周三在英国布莱切利公园举行的峰会的几位中国学术与会者签署了一份声明,警告先进的人工智能将在未来几十年对“人类的生存构成威胁”。该组织包括中国最著名的计算机科学家之一姚期智,呼吁建立一个国际监管机构,对先进人工智能系统进行强制注册和审核,纳入即时“关闭”程序,并要求开发者花费他们的研究预算的百分之三十用于人工智能安全。这些提案比美国总统乔·拜登本周发布的人工智能行政命令(其中包括算法歧视和劳动力市场影响)以及欧盟拟议的人工智能法案(重点保护隐私等权利)更关注存在风险。该声明还比英国首相里希·苏纳克(RishiSunak)为具有里程碑意义的峰会起草的人工智能安全公报草案走得更远,该公报没有呼吁各国政府实施具体监管。这些措施是在北京和华盛顿之间围绕关键技术的世界领导地位紧张局势加剧之际,中国可能对全球人工智能监管采取的立场的早期迹象。——

封面图片

中国科学家胡海岚获颁世界杰出女科学家奖

中国科学家胡海岚获颁世界杰出女科学家奖中国浙江大学神经科学中心执行主任胡海岚,因在神经科学方面的重大发现,获颁世界杰出女科学家奖。据新华社报道,2022年度世界杰出女科学家奖颁奖典礼6月23日在巴黎联合国教科文组织总部举行。胡海岚与另外四名女科学家获颁此奖项。联合国教科文组织此前发布的评奖信息说,胡海岚因在神经科学方面的重大发现而获奖。她的工作促进了新一代抗抑郁药物的研发。胡海岚21日在中国常驻联合国教科文组织代表团举行的招待会上说,世界杰出女科学家奖体现了教科文组织的宗旨,希望能有更多的年轻女性通过这个奖项了解科学、热爱科学,成为女科学家中的一员。胡海岚致力于研究社会行为和情绪的神经编码和调控机制,特别在抑郁症的基础及转化研究中取得了创造性、系统性的成果。她和她的团队发现了社会竞争中“胜利者效应”的脑机制;从分子、细胞和系统等多层面对抑郁症这一重大疾病的成因提出了新的阐释,为研发更好、更安全的抗抑郁药物提供了新思路。另外四名获颁2022年度世界杰出女科学家奖的科学家分别是古巴传染病学家玛利亚·古斯曼、匈牙利裔美籍生物化学家卡塔琳·考里科、卢旺达公共卫生专家阿涅丝·比纳瓜霍和西班牙胚胎学家安赫拉·涅托。此外,联合国教科文组织还邀请了2020年度和2021年度共10名世界杰出女科学家奖得奖者到场并为她们颁奖。受冠病疫情影响,过去两年未举办线下颁奖仪式。联合国教科文组织总干事奥德蕾·阿祖莱在颁奖仪式上致辞时说,世界需要科学,科学需要女性。科学必须从教育和职业生涯的关键时刻开始,更多、更好地向女性开放。世界杰出女科学家奖由联合国教科文组织和法国欧莱雅集团在1998年联合设立,每年授予从全球各大洲遴选出的五名为科学进步作出卓越贡献的女科学家,旨在表彰她们的杰出成就,并为她们的科研事业提供支持。发布:2022年6月24日1:15PM

封面图片

1000多名硅谷企业家科学家联名呼吁立刻停下所有大型AI研究

1000多名硅谷企业家科学家联名呼吁立刻停下所有大型AI研究当全社会都在为AI的进化而欢呼雀跃,全新的、意想不到的风险可能也正在悄悄酝酿。3月22日,生命未来研究所(FutureofLife)向全社会发布了一封《暂停大型人工智能研究》的公开信,呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练,暂停时间至少为6个月。该机构以“引导变革性技术造福生活,远离极端的大规模风险”为使命。PC版:https://www.cnbeta.com.tw/articles/soft/1351721.htm手机版:https://m.cnbeta.com.tw/view/1351721.htm

封面图片

欧盟AI法案即将生效 杨立昆等AI科学家表示反对

欧盟AI法案即将生效杨立昆等AI科学家表示反对AGI何时实现,业内分歧较大杨立昆表示,欧盟人工智能法案和其他各个地方都有规范研究和开发的条款,但他认为这不是一个好主意,理由是他并不认为人工智能会很快超越人类智能。“坦率地说,我不相信AI有任何与人接近的地方。”杨立昆表示,“我认为它目前没有那么危险。”不过他承认,未来人工智能系统可能会变得更加智能,届时需要对它们的设计采取适当的保障措施。百度CEO李彦宏也在VivaTech期间表示,AGI的实现还需要超过十年的时间。他表示:“我们希望人工智能像人类一样聪明,但当今最强大的模型远未达到这一程度。”李彦宏呼吁加快人工智能的发展步伐。“我担心的是人工智能技术进步得不够快。每个人都对过去几年技术发展的速度感到震惊。但对我来说还是不够快。”他表示。以特斯拉CEO马斯克为代表的科技人士强调人工智能的风险,马斯克在XSpace的访谈中预测,到明年或2026年,人工智能的智慧可能会超过世界上最聪明的人类,也就是通用人工智能(AGI)的实现。ChatGPT的开发商OpenAI的CEO奥尔特曼(SamAltman)在今年早些时候预测,AGI可能会在“相当近的未来”开发出来。对于人工智能安全性风险的分歧在OpenAI的“内斗”中已经暴露出来。OpenAI在宣布向公众免费提供迄今为止最强大的人工智能模型GPT-4o后,该公司前首席科学家苏茨克维尔(IlyaSutskever)宣布辞职,“超级对齐”团队解散。这也引发了谁来为AI负责的讨论。现任清华大学国强教授、智能产业研究院首席研究员聂再清对第一财经记者表示:“Ilya对大模型技术的理解非常深刻,他的离职和对齐团队的解散短期内对OpenAI大模型技术的发展和安全可控可能会有一些影响。OpenAI应该还会继续大力投入到安全和对齐相关的工作上,确保大模型长期安全可控,在各种边界情况下都表现良好。”他认为,作为大的科技企业,可以通过团队的协同,在“对齐”这个方向上做更好的长期规划和资源共享及调配。创新与监管如何平衡欧盟一直走在人工智能监管的最前沿。上周,欧盟委员会批准了《人工智能法案》,这项法案是全球首创,将为人工智能监管制定全球标准。该立法遵循“基于风险”的方法,旨在促进私人和公共参与者在欧盟市场上开发和采用安全、值得信赖的人工智能系统。法案规定,提供公共服务的实体部署高风险人工智能系统之前,需要评估其基本权利影响。这也意味着AI对社会造成伤害的风险越高,监管的规则就越严格。该法案也涉及通用人工智能大模型(GPAI)的使用。根据法案,不构成系统性风险的GPAI模型将受到一些有限的要求,例如透明度方面的要求,但那些存在系统性风险的模型将必须遵守更严格的规则。一些企业和行业组织已经明确对欧盟的AI法案提出反对,认为这不利于欧洲打造人工智能高地。欧洲科技行业组织DigitalEurope此前在一份声明中称:“这意味着我们需要投入更多来研究对抗人工智能使用风险的方法,而不是投入技术本身,新的监管规则将要求公司投入大量资源来遵守,把资源花在律师身上,而不是雇佣人工智能工程师。”Meta欧盟事务主管MarcoPancini也表示:“最重要的是,我们不应该忽视人工智能在促进欧洲创新和促进竞争方面的巨大潜力,而开放是关键。”亚马逊首席技术官沃纳·沃格尔斯(WernerVogels)也在VivaTech期间表达了对人工智能监管可能会扼杀某些领域创新的担忧。他表示,在考虑风险时,监管机构应该考虑将新技术应用于医疗保健和金融服务。“我认为AI在很多领域应用的风险很小,我们应该让创新在这些领域发挥作用。在其他领域,AI犯的错误可能对人们的生活产生更大的影响,应该针对这些特定领域进行特别的风险管理。”沃格尔斯表示。他还强调,亚马逊欢迎监管,并与监管机构的总体目标保持一致,但警告欧盟不要过度监管人工智能。对此,欧盟委员会表示,该法案的推出目标是“刺激欧洲人工智能的投资和创新”。“这项具有里程碑意义的法案是世界上第一部AI法案,它解决了全球技术挑战,也为我们的社会和经济创造了机会。通过人工智能法案,欧洲强调在处理新技术时信任、透明度和问责制的重要性,同时确保这种快速变化的技术能够蓬勃发展并促进欧洲创新。”欧盟在一份声明中称。欧盟表示,该立法法案经欧洲议会通过后,将在未来几天内在欧盟官方公报上发布,并在发布后二十天生效,新法案将在生效两年后对企业正式产生影响。不遵守规则的公司将面临3500万欧元或等同于全球收入7%的罚款(二选一)。...PC版:https://www.cnbeta.com.tw/articles/soft/1432513.htm手机版:https://m.cnbeta.com.tw/view/1432513.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人