张宏江：坚持和加强国际科学界和政府的合作，控制人工智能不去跨越红线

张宏江：坚持和加强国际科学界和政府的合作，控制人工智能不去跨越红线在中国发展高层论坛2024年年会上，北京智源研究院创始人、创始理事长张宏江表示，当前，AI进入了一个新的发展阶段，以大模型为代表的阶段，它代表了第四次技术革命，带来了效率的提高，为我们的生活带来了诸多方便，将会创造大量的价值以及一个又一个新的产业。但同时，人工智能可能导致全球性的灾难性后果。为了避免这样的危险发生，我们需要划出红线，改进治理机制，同时需要研发更多安全的技术，控制人工智能不去跨越这些红线。要想做到这一点，最重要的一条是坚持和加强国际科学界和政府间在安全方面的合作。

专家建议在降低AI风险方面进行大量投资 并制定更严格的全球法规以防止滥用

专家建议在降低AI风险方面进行大量投资并制定更严格的全球法规以防止滥用这些风险包括社会和经济影响、恶意使用以及人类可能失去对自主人工智能系统的控制。他们提出了积极主动的适应性治理措施，以降低这些风险。作者敦促大型技术公司和公共资助者加大投入，至少将三分之一的预算用于评估和降低这些风险。他们还呼吁全球法律机构和政府执行防止滥用人工智能的标准。这些挑战包括以下方面：监督与诚信能力更强的人工智能系统可以更好地利用技术监督和测试方面的弱点，例如，产生虚假但令人信服的输出。鲁棒性人工智能系统在新情况下的表现难以预测。随着模型规模的扩大，鲁棒性的某些方面会得到改善，而其他方面则不会，甚至会变得更糟。可解释性和透明度人工智能决策是不透明的，规模更大、能力更强的模型解释起来更加复杂。到目前为止，我们只能通过试错来测试大型模型。我们需要学习了解它们的内部运作。包容性的人工智能发展人工智能的发展需要有方法来减少偏见，并整合其将影响的众多人群的价值观（见SM）。应对新出现的挑战未来的人工智能系统可能会出现我们迄今为止仅在理论或实验室实验中见过的失效模式，例如人工智能系统控制了训练奖励-提供渠道，或利用我们安全目标和关闭机制中的弱点来推进特定目标。第二类研发挑战需要取得进展，以实现有效的风险调整治理，或在安全和治理失效时减少危害。评估危险能力随着人工智能开发人员对系统进行扩展，不可预见的能力会在没有明确编程的情况下自发出现（见SM）。它们往往在部署后才被发现（见SM）。我们需要严格的方法来激发和评估人工智能能力，并在训练前对其进行预测。这既包括在世界上实现宏伟目标的通用能力（如长期规划和执行），也包括基于威胁模型的特定危险能力（如社会操纵或黑客攻击）。目前对危险能力的人工智能前沿模型的评估是各种人工智能政策框架的关键，但这些评估仅限于抽查和在特定环境下的尝试性演示（见SM）。这些评估有时可以展示危险能力，但无法可靠地排除危险能力：在测试中缺乏某些能力的人工智能系统，很可能在稍有不同的环境中或经过后期训练增强后显示出这些能力。因此，依赖于人工智能系统不跨越任何红线的决策需要很大的安全系数。改进评估工具可以降低遗漏危险能力的几率，从而允许更小的安全系数。评估人工智能调整如果人工智能继续发展，人工智能系统最终将拥有高度危险的能力。在训练和部署这些系统之前，我们需要一些方法来评估它们使用这些能力的倾向。对于先进的人工智能系统来说，纯粹的行为评估可能会失败：与人类类似，它们可能会在评估中表现出不同的行为，伪造一致性。风险评估我们不仅要学会评估危险的能力，还要学会评估社会背景下的风险，以及复杂的相互作用和脆弱性。对前沿人工智能系统进行严格的风险评估仍然是一个公开的挑战，因为这些系统具有广泛的能力，而且在不同的应用领域中普遍部署。复原力不可避免的是，有些人会滥用或肆意使用人工智能。我们需要一些工具来检测和防御人工智能带来的威胁，如大规模影响行动、生物风险和网络攻击。然而，随着人工智能系统的能力越来越强，它们最终将能够规避人类制造的防御系统。为了实现更强大的基于人工智能的防御，我们首先需要学习如何使人工智能系统安全并保持一致。"为了引导人工智能取得积极成果，远离灾难，我们需要调整方向。有一条负责任的道路--只要我们有智慧去走它，"作者写道。它们突显了全球科技公司竞相开发通用人工智能系统的情况，这些系统在许多关键领域的能力可能与人类不相上下，甚至超过人类。然而，这种快速进步也带来了社会规模的风险，可能会加剧社会不公、破坏社会稳定，并导致大规模网络犯罪、自动化战争、定制化大规模操纵和无孔不入的监控。重点关注的问题之一是，自主人工智能系统有可能失去控制，这将使人类的干预变得无效。专家认为，人类尚未做好充分准备来应对这些潜在的人工智能风险。他们指出，与提高人工智能能力的努力相比，在确保安全和合乎道德地开发和部署这些技术方面投入的资源少之又少。为了弥补这一差距，作者概述了人工智能研究、开发和治理的当务之急。DOI:10.1126/science.adn0117...PC版：https://www.cnbeta.com.tw/articles/soft/1432300.htm手机版：https://m.cnbeta.com.tw/view/1432300.htm

在今日中国发展高层论坛2024年年会上，北京智源研究院创始人、创始理事长张宏江表示，当前，AI进入了一个新的发展阶段，以大模型为

在今日中国发展高层论坛2024年年会上，北京智源研究院创始人、创始理事长张宏江表示，当前，AI进入了一个新的发展阶段，以大模型为代表的阶段，它代表了第四次技术革命，带来了效率的提高，为我们的生活带来了诸多方便，将会创造大量的价值以及一个又一个新的产业。但同时，人工智能可能导致全球性的灾难性后果。为了避免这样的危险发生，我们需要划出红线，改进治理机制，同时需要研发更多安全的技术，控制人工智能不去跨越这些红线。要想做到这一点，最重要的一条是坚持和加强国际科学界和政府间在安全方面的合作。（新浪）

古特雷斯：AI关系全球和平与安全 须强化对AI的全球治理

古特雷斯：AI关系全球和平与安全须强化对AI的全球治理联合国安理会首次就人工智能（AI）的安全风险和机遇举行会议。新华社报道，联合国秘书长古特雷斯星期二（7月18日）在纽约联合国总部出席联合国安理会人工智能与安全问题高级别公开会，呼吁管控人工智能技术风险，通过成立新的联合国机构强化对人工智能的全球治理。古特雷斯警告，无论是军事或非军事应用人工智能都可能对全球和平安全产生非常严重后果。他支持一些国家提出，效仿国际原子能机构（IAEA）及国际民航组织（ICAO）等，设立一个新的联合国机构，制定人工智能的治理。他说，日新月异的人工智能技术已对社会产生显著影响，但未来将导致何种结果，就连人工智能的开发者也不清楚。如今，人工智能已关系到全球和平与安全。人工智能被越来越多地应用于维和、斡旋和人道救援等方面，这项技术也可能被恶意利用。这是安理会首次就人工智能对国际和平与安全的影响举行公开会，来自15个成员国的代表出席。主持会议的英国外长克莱弗利说，没有任何国家可以不受人工智能影响，需要通过协调来降低风险。古特雷斯说，犯罪分子和恐怖分子获取人工智能的技术和财务门槛较低，他们一旦将人工智能用在军事或非军事领域，将对全球和平与安全造成极为严重的后果。人工智能还有其他隐患。生成式人工智能可能造成假信息和仇恨言论泛滥；一些人工智能系统的功能难以预料，可能带来意外的安全风险；人工智能存在运转失常的隐患；人工智能与核武器、生物技术、神经技术、机器人技术的交互让人不寒而栗。古特雷斯强调，生成式人工智能同时具有行善与作恶的巨大潜能，如不采取措施防范风险，将是对当代和后代的失职。古特雷斯认为，联合国是探讨人工智能全球治理机制的理想场所。一些国家呼吁成立一个新的联合国机构以加强对人工智能的全球治理，他对此表示欢迎。新机构的首要目的是支持各国最大化利用人工智能技术，规避现有和潜在风险，并建立运行国际机制以监测和治理人工智能技术。古特雷斯已着手成立“人工智能高级别咨询委员会”，计划今年年底前就人工智能全球治理提出政策建议。

七国集团达成AI工具开发者行为准则

七国集团达成AI工具开发者行为准则七国集团（G7）将于星期一（10月30日）就企业开发人工智能（AI）系统达成一套行为准则，以管控人工智能可能遭滥用的风险。路透社报道，发展人工智能面对隐私问题和安全风险，这份非强制的行为准则将为主要国家就如何管理人工智能树立一个里程碑。G7以及欧盟的领导人于今年5月在“广岛人工智能进程”的部长级论坛上启动这一进程。G7的文件称，11点行为准则“旨在与全球范围内推广安全、可靠和可信的人工智能，并为开发最先进人工智能系统的机构提供自愿性质行动指南”，帮助企业抓住人工智能带来的好处和应对潜在的风险与挑战。该行为准则敦促企业采取适当措施，识别、评估和降低在整个人工智能生命周期的风险，并在人工智能产品投放市场后处理遭滥用的情况和模式。公司也受促发布有关人工智能系统的能力、限制、使用和滥用情况的公开报告，并持续投入加强对人工智能的安全控制。欧盟一直走在监管新兴技术的前沿，制定了严厉的《人工智能法》，日本、美国和东南亚国家则采取比欧盟更不干涉的方式，来促进新兴技术发展对经济增长的贡献。欧盟数码事务负责人朱罗娃10月早些时候在日本京都举行的互联网治理论坛上发言时说，上述行为准则是确保安全的坚实基础，它将在监管到位之前发挥桥梁作用。2023年10月29日11:12PM

七国集团今日将就开发AI的行为准则达成一致

七国集团今日将就开发AI的行为准则达成一致今年5月，由加拿大、法国、德国、意大利、日本、英国和美国，以及欧盟组成的七国集团领导人，在“广岛人工智能进程”（HiroshimaAIprocess）部长级论坛上启动了这项制定人工智能行为准则的工作。文件显示，这套行为准则共包含11项内容，旨在推广全球范围内的安全、可靠和值得信赖的人工智能，并将为开发最先进的人工智能系统的组织提供自愿行动指南，包括最先进的基础模型和生成性人工智能系统。该准则敦促企业采取适当措施，识别、评估和缓解人工智能生命周期中的风险，并在人工智能产品投放市场后处理误用事件和模式。这些公司应该发布关于人工智能系统的能力、限制以及使用和误用的公开报告，并在安全控制方面进行大力投资。其最终的目的是帮助企业抓住这项技术的裨益，并应对它们可能带来的风险和挑战。当前，欧盟凭借其严厉的人工智能法案，在监管这项新兴技术方面走在了前列。相比之下，日本、美国和东南亚国家则采取了相对柔和的不干涉模式，来促进经济增长。本月早些时候，欧盟委员会数字主席VeraJourova在日本京都举行的互联网治理论坛上曾表示，行为准则是确保安全的坚实基础，在监管到位之前，它将充当桥梁的作用。...PC版：https://www.cnbeta.com.tw/articles/soft/1393043.htm手机版：https://m.cnbeta.com.tw/view/1393043.htm