吴恩达:美国加州AI安全法案将扼杀开源大模型

吴恩达:美国加州AI安全法案将扼杀开源大模型例如,根据该法案的定义,Meta的Llama-3被定义为超过1亿美元训练成本的“前沿模型”。如果有人将该模型用于非法用途,Meta也会受到严重处罚。咱们2000多年前大秦的连坐制度,咋还出口了呢~加州的地理位置非常特殊,这里既有斯坦福、加州理工、南加州大学等名校,也是Google、苹果、OpenAI、Meta等科技巨头总部的所在地,所以,该法案也受到了吴恩达、YannLeCun等AI界泰斗的抵制。例如,该法案中的22603(a)(3)(4)条要求"有限职责豁免"向政府部门提交证明,并在有错误时停止模型的运行;第22603(b)条要求开发者需要报告任何模型的潜在的AI安全事故。如果开发者无法完全掌控基于其模型的各种衍生版本,若发生安全事故,责任将归属于第一开发者。也就是说,开发者需要对模型的能力做出保证,一旦大模型开源后被他人修改,能力发生变化,会面临合规风险的处罚。所以,企业、个人开发者在开源大模型权重时会非常谨慎,这相当于是一个连带责任。此外,该法案中的22604(a)(b)规定,当用户使用其“前沿模型”和算力资源时,开发者需要提交客户的所有资料,包括客户的身份、信用卡号、账号、客户标识符、交易标识符、电子邮件、电话号码。同时,每年都要提交一次资料,并对用户的行为、意图进行评估。用户的所有资料会被备份7年,也会在海关、边境总署备案。而开发者也需要具备紧急停止大模型的能力,例如,用户使用其模型用于别的业务场景,可以不用通过用户本地直接关闭模型。像这种严格的监管条例还有不少,无形之中会加重企业、开发者对大模型的合规成本和开放权重的态度。尤其是那种“秦朝连坐制度”,用户使用了你的模型开发了其他潜在危险的应用,特别是这个判定还很模糊,那么第一开发者弱没有“豁免权”将会一起被处罚,真的是挺离谱的。对于SB-1047法案的拟定,吴恩达发表了一篇深度长文进行回应。他表示,该法案中有很多问题,首先就是危险范畴定义不合理,如果有人使用他们的模型做超出规定的事情,原作者一起被处罚。此外对造成的伤害定义也不太好,例如,造成5亿美元的损失,这在AI领域还是很难实现的。如果最终议会通过了这个方案,那么将会对AI大模型领域造成很大影响,将彻底扼杀开源大模型的技术创新。吴恩达进一步指出,应该监管的是AI应用程序而不是大模型本身。例如,电机是一种技术。当我们把它放在搅拌机、电动汽车、透析机或导弹中时,它就成为了一种应用。如果我们通过法律规定,如果任何人以有害的方式使用电机,制造商将承担相应的责任。那么,电机制造商要么关闭生产,要么将电机的性能制造的非常小,难以大范围应用。SB-1047法案似乎没有考虑过大模型有益处的应用,而是全部针对他的有害来处理的,这是不公平的。如果这样的监管法案最终通过了,可能会阻止人们使用电机制造导弹,但我们也会失去使用搅拌机、电动汽车和透析机的机会。吴恩达在最近演讲中谈SB-1047更大的忧虑是,加州的SB-1047法案一旦通过,其他州可能会效仿,整个负面影响会不断扩大。图灵奖获得者、Meta首席科学家-YannLeCun直言,SB-1047法案意味着,加州的科技产业将直接面临终结。知名架构师DanielJeffries也赞成Yann的观点,并发表长文强烈呼吁加州议会对SB-1047法案提反对票。并且认为,SB-1047根本就不是一个法案,就是一个“特洛伊木马”。原因很简单,这是由一群小范围利益群体制定的规则,他们坚信AI大模型会带来“世界毁灭”,完全不顾他的好处。此外,他提出中国已经具备与OpenAI等科技巨头竞争的大模型,在电动汽车、自动驾驶、城市AI大脑皆处于领先地位。这个方案要是通过了,将直接压制美国AI领域的发展进程。普通用户对SB-1047法案也是相当抵制的,这个法案的最终目的,就是让第一开发者为自己的大模型永久负责,并保证不会出现任何危险。这简直是难以执行的监管,会严重影响开源领域的发展。同时嘲讽道,让一群平均年龄63岁的人,来监管AI大模型有点不靠谱啊~~也有人建议,不行就把开源大模型这事交给中国来做吧,Quen2、零一万物等开源大模型的性能已经和GPT-4、GPT-4o等旗鼓相当。...PC版:https://www.cnbeta.com.tw/articles/soft/1434999.htm手机版:https://m.cnbeta.com.tw/view/1434999.htm

相关推荐

封面图片

美国会新法案将管制AI大模型出口 开源的也不让用

美国会新法案将管制AI大模型出口开源的也不让用访问:Saily-使用eSIM实现手机全球数据漫游安全可靠源自NordVPN这项立法旨在使未来的AI出口法规免受法律挑战。美国越来越担心,国家对手可能会利用这些AI模型发动具有侵略性的网络攻击,甚至制造强大的生物武器。AI模型通过挖掘大量文本和图像来总结信息并生成内容。美国商务部负责监管美国出口政策。但是根据美国现行法律,美国商务部要监管开源AI模型的出口要困难得多,因为开源AI模型可以免费下载。如果上述新法案获得批准,它将消除《国际紧急经济权力法》中包含的开源AI出口的监管障碍,并赋予商务部明示授权来监管AI系统。目前,西方开发的许多开源模型被其他国家使用,例如脸书母公司Meta的Llama大模型。2023年11月,李开复旗下AI创业公司零一万物就曾引发重大争议,原因是一些AI工程师发现,零一万物的AI模型Yi-34B是基于Meta的Llama大模型开发的。在这项新法案宣布前,微软公司还宣布向阿联酋AI公司G42投资15亿美元,允许G42使用微软的云服务来运行其AI应用程序,这在美国也引发了一些担忧。...PC版:https://www.cnbeta.com.tw/articles/soft/1430346.htm手机版:https://m.cnbeta.com.tw/view/1430346.htm

封面图片

硅谷对加州人工智能安全法案不满

硅谷对加州人工智能安全法案不满美国加利福尼亚州的人工智能重量级企业正在抗议一项州法案,该法案将迫使科技公司遵守严格的安全框架,包括创建一个“切断开关”来关闭其强大的人工智能模型。该法案于上月由加州参议院通过,并将于8月在众议院进行表决。该法案要求加州的人工智能团体向一个新成立的州机构保证,它们不会开发具有“危险能力”的模型,例如制造生物武器或核武器,或协助网络安全攻击。根据拟议中的《前沿人工智能系统安全创新法案》,开发人员必须报告其安全测试,并引入所谓的“切断开关”来关闭他们的模型。——()

封面图片

美国参议院推动人工智能安全法案 旨在防止AI模型出现安全漏洞

美国参议院推动人工智能安全法案旨在防止AI模型出现安全漏洞该中心将领导研究法案中所说的"反人工智能",即学习如何操纵人工智能系统的技术。该中心还将制定预防反人工智能措施的指南。该法案还将要求国家标准与技术研究院(NIST)和网络安全与基础设施安全局建立一个人工智能漏洞数据库,包括"近乎得手的漏洞"。华纳和蒂利斯提出的法案重点关注对抗人工智能的技术,并将其分为数据中毒、规避攻击、基于隐私的攻击和滥用攻击。数据中毒指的是在人工智能模型刮取的数据中插入代码,破坏模型输出的方法。它是防止人工智能图像生成器在互联网上复制艺术作品的一种流行方法。规避攻击会改变人工智能模型所研究的数据,以至于模型变得混乱。人工智能安全是拜登政府人工智能行政命令的关键项目之一,该命令指示美国国家标准与技术研究院(NIST)制定"红队"指导方针,并要求人工智能开发人员提交安全报告。所谓"红队"(redteaming),是指开发人员故意让人工智能模型对不应该出现的提示做出反应。理想情况下,人工智能模型的开发者会对平台进行安全测试,并在向公众发布之前对其进行广泛的红队测试。一些公司如微软已经创建了一些工具,帮助人工智能项目更容易地添加安全防护措施。《人工智能安全法案》在提交给更大范围的参议院审议之前,必须经过一个委员会的审议。...PC版:https://www.cnbeta.com.tw/articles/soft/1429345.htm手机版:https://m.cnbeta.com.tw/view/1429345.htm

封面图片

阿里云成为首家支持 Meta 开源 AI 模型 Llama 的中国企业

阿里云成为首家支持Meta开源AI模型Llama的中国企业阿里云近日宣布,该公司已成为首家支持Meta开源AI模型Llama的中国企业,并允许其中国企业用户开发基于该模型的程序。阿里云官方微信公众号表示,该公司在中国推出了第一个针对Llama2的系列的培训和部署解决方案,并欢迎所有开发者在阿里云上创建定制的大模型。阿里云表示,为方便开发者群体,阿里云机器学习平台PAI在国内率先对Llama2系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于Llama2进行再训练,搭建自己的专属大模型。来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

英伟达开源Nemotron-4 340B 可用合成数据训出特定开源通用模型

英伟达开源Nemotron-4340B可用合成数据训出特定开源通用模型英伟达发布全新开源模型Nemotron-4340B,有可能彻底改变训练LLM的方式——或许以后各行各业都不再需要昂贵的真实世界数据集了。根据英伟达官方发文,Nemotron-4340B包括基础模型Base、指令模型Instruct和奖励模型Reward,并构建了一个高质量合成数据生成的完整流程。模型支持4K上下文窗口、50多种自然语言和40多种编程语言。训练数据方面,英伟达采用了高达9万亿个token。其中,8万亿用于预训练,1万亿用于继续训练以提高质量。Nemotron-4340B指令模型可以帮助开发者生成合成训练数据。这些多样化的合成数据,模仿了真实世界的数据特征,因而数据质量明显提升,从而提升了各领域定制LLM的性能和稳定性。而且,为了进一步提高AI生成数据的质量,开发者还可以用Nemotron-4340B奖励模型,来筛选高质量的响应。此外,为了提高模型质量,开发者可以使用NeMoAligner和由Nemotron-4340B奖励模型标注的数据集来对齐模型。根据大模型竞技场LMSYS的消息,Nemotron-4340B已直接超越了Mixtral8x22B、Claudesonnet、Llama370B、Qwen2。关注频道@ZaiHuaPd频道爆料@ZaiHuabot

封面图片

李开复旗下 AI 公司 “零一万物” 开源 Yi 大模型被指抄袭 LLaMA

李开复旗下AI公司“零一万物”开源Yi大模型被指抄袭LLaMA11月14日消息,创新工场董事长兼CEO李开复于了AI大模型创业公司“零一万物”,该公司已推出 Yi-34B和 Yi-6B两个开源大模型,号称对学术研究完全开放,同步开放免费商用申请。然而在 Yi-34B的HuggingFace开源主页上,开发者ehartford质疑称该模型使用了 MetaLLaMA的架构,只对两个张量(Tensor)名称进行了修改,分别为input_layernorm和post_attention_layernorm。ehartford表示开源社区肯定会重新发布Yi大模型,并重命名张量以符合 LLaMA 架构。他希望该公司在模型获得大量采用之前考虑将这一更改应用到官方模型中,下方则引来了多方议论。此外,网上今日流传着一张原阿里首席AI科学家贾扬清的朋友圈,该内容称“某国内大厂新模型exactly就是LLaMA的架构,但是为了表示不一样,把代码里面的名学从LLaMA改成了他们的名字,然后换了几个变量名”。——

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人