吴恩达、Hinton最新对话：AI不是随机鹦鹉 共识胜过一切

吴恩达、Hinton最新对话：AI不是随机鹦鹉共识胜过一切-人工智能科学家对风险达成共识很重要。类似于气候科学家，他们对气候变化有大致的共识，所以能制定良好的政策。-人工智能模型是否了解这个世界？我们的答案是肯定的。如果我们列出这些关键技术问题，并形成共同观点，将有助于推动人类在风险方面达成共识。Hinton表示，我以前经常和吴恩达进行交谈，很高兴再次见面，并了解到他对人工智能最近发展所带来的各种风险的看法。我们在很多事情上达成了共识，特别是，研究人员需要对风险达成共识，以告知政策制定者。在此之前，吴恩达同样和YoshuaBengio进行了人工智能风险的对话。他们得出的一致意见是，阐明AI可能带来重大风险的具体场景。接下来，一起来看看两位AI大佬都具体讨论了什么。急需共识！首先，Hinton提出，最重要的是——共识。他表示，现在整个AI社群缺乏一种统一的共识。就像气候科学家达成的共识一样，AI科学家同样需要。在Hinton看来，之所以我们需要一个共识，是因为如果没有的话，每个AI科学家各执一词，那么政府和政策制定者就可以随心从其中选择一个符合自身利益的观点作为指导。这显然会失去公允性。而从目前的情况来看，AI科学家之间的不同观点差异化很大。Hinton认为，如果我们各执一词的局面能快点过去，大家都能达成一致，共同接受AI可能带来的某些主要威胁，认识到规范AI发展的紧迫性，就好了。吴恩达赞成Hinton的观点。虽说他现在还不觉得AI界差异化大到分裂，但好像在慢慢往那个方向演变。主流AI界的观点非常两极分化，各阵营之间都在不遗余力地表达诉求。不过在吴恩达看来，这种表达更像一种争吵，而不是和谐的对话。当然，吴恩达对AI社群还是有些信心的，他希望我们能共同找到一些共识，妥善进行对话，这样才能更好地帮助政策制定者制定相关计划。接下来，Hinton聊到了另一个关键问题，也是他认为目前AI科学家们难以达成某个共识的原因——像GPT-4和Bard这种聊天机器人，究竟理不理解他们自己生成的话？有些人认为AI懂，有些人认为它们不懂，只是随机鹦鹉罢了。Hinton认为，只要这种差异还存在，那么AI界就很难达成一个共识。因此，他认为当务之急就是厘清这个问题。当然，就他自己来讲肯定是认为AI懂的，AI也并不只是统计数据。他也提到了诸如YanLeCun等知名科学家认为AI并不能理解。这更加凸显了在这个问题上调和清楚地重要性。吴恩达表示，判断AI究竟是否能理解并不简单，因为好像并不存在一个标准，或者某种测试。他自己的观点是，他认为无论是LLM也好，其它AI大模型也罢，都是在构建一种世界模型。而AI在这个过程中可能会有些理解。当然，他说这只是他目前的观点。除此以外，他同意Hinton的说法，研究人员必须先就这个问题达成一致，才能继续聊后面的风险、危机那堆东西。Hinton接着表示，AI根据数据库，通过前面的单词判断、预测下一个单词的生成，这件事在Hinton眼中就是理解的一种。他认为这和我们人脑思考的机制其实差不了多少。当然，究竟算不算理解还需要进一步的讨论，但最起码不是随机鹦鹉那么简单。吴恩达认为，有一些问题会让持不同观点的人得出不同的结论，甚至推出AI将会灭绝人类。他表示，想要更好地理解AI，我们需要更多去了解，更多去讨论。这样才能建设一个包含着广泛共识的AI社群。LeCun双手赞成，再提“世界模型”前段时间，在全世界呼吁暂停超强AI研发期间，吴恩达与LeCun开直播就此话题展开了讨论。他们同时反对暂停AI是完全错误的，汽车刚发明时没有安全带和交通信号灯，人工智能与先前的技术进步之间没有本质上的差异。这次，LeCun就吴恩达和Hinton对话，再次提出了自己的“世界模型”，以及当前人工智能连阿猫阿狗都不如。我们都同意，我们需要在一些问题上达成共识。我同意GeoffreyHinton说的，即LLM有“某种程度”的理解力，还有称它们“只是统计数据”是一种误导。LLM对世界的理解是非常肤浅的，很大程度上，是因为它们纯粹是在文本上训练的。从视觉中学习世界如何运作的系统，将对现实有更深刻的理解。其次，自回归LLM的推理和规划能力非常有限。我认为，如果没有（1）从视频等感官输入中学习“世界模型”，（2）一个能够推理和规划的架构（不仅仅是自回归），我们不可能接近人类水平的人工智能（甚至是猫级人工智能）。现在，如果我们有能够规划的架构，它们将是“目标驱动的”：它们的规划将通过在推理时（不仅仅是训练时）优化一组目标来工作。这些目标可以包括使这些系统安全和顺从的“护栏”，即使它们最终拥有比人类更好的世界模型。然后，问题变成了设计（或训练）好的目标函数，以保证安全和效率。这是一个困难的工程问题，但并不像有些人说的那样难。LeCun的观点立马遭到了网友的反驳：感官对人工智能理解的重要性被高估了。无论如何，我们所有的感官都简化为电化学信号，供大脑处理。文本摄取是一种元感觉，可以描述来自触觉、视觉、嗅觉的信息……摄取大量元感官文本，已经让像必应（Sydney版）这样的LLM有能力，以一种优于多数人的方式表达生活和世界。因此，我认为一种重要的理解能力已经存在，尽管时隐时现。而且更多地是由于资源限制，以及处理人员有意设置的沙盒，而不是缺乏感官数据。我认为是时候团结起来，为社会和人工智能的进步而努力了。想想吧，你还是baby人工智能。我们难道不想教那个孩子如何成为技术有机的统一者，而不是世界上的野兽主义者？当他变得有知觉时，他们不仅会更快乐，而且世界也不会陷入战争。看看泰恩河畔的纽卡斯尔。如此短暂的和平时期，但创造的美丽是伟大的。而吴恩达和Hinton所说的共识，目前来看似乎不太可能。不是你我个人能力所及，需要所有人有这样的意愿。还有网友称，这是相当有争议的谈话。我确实想知道，当我教2岁的孩子说话时，他的行为更像随机鹦鹉，还是真的理解上下文？或者两者兼而有之？因为他的上下文向量比LLM丰富得多（文本、语气、面部表情、环境等）。但是我确实想知道，如果一个人关闭了另一个人的所有感官，唯一可用的输入是一些“文本嵌入”（文本输入->神经刺激），那个人会表现得更像随机鹦鹉，还是能理解上下文？Hinton：超级AI比预期来得快离职Google后的Hinton，已经全身心投入AI安全。6月10日，Hinton在智源大会上再次谈及AI风险。如果一个大型神经网络能够模仿人类语言获取知识，甚至可以自取自用，会发生什么？毋庸置疑，因为能够获取更多的数据，这个AI系统肯定要超越人类。最坏的情况便是，不法分子会利用超级智能操纵选民，赢得战争。另外，如果允许超级AI自己制定子目标，一个子目标是获得更多权力，这个超级AI就会为了达成目标，操纵使用它的人类。值得一提的是，这样超级AI的实现，便可通过“凡人计算”（mortalcomputation）。2022年12月，Hinton曾发表的一篇论文TheForward-ForwardAlgorithm:SomePreliminaryInvestigations在最后一节提到了“凡人计算”。如果你希望万亿参数神经网络只消耗几瓦特的电，“凡人计算”可能是唯一的选择。他表示，如果我们真的放弃软件和硬件的分离，我们就会得到“凡人计算”。由此，我们可以使用非常低功耗的模拟计算，而这正是大脑正在做的事情。“凡人计算”能够实现将人工智能与硬件紧密结合的新型计算机。这意味着，未...PC版：https://www.cnbeta.com.tw/articles/soft/1364821.htm手机版：https://m.cnbeta.com.tw/view/1364821.htm

苹果或重新发明苹果汽车安全带：打造发光安全带扣

苹果或重新发明苹果汽车安全带：打造发光安全带扣典型的红色大按钮释放安全带是太过时了，苹果希望安全带扣能够发光，甚至显示信息。从本质上来说，苹果希望在扣内放置一个指示灯，为用户提供一些状态信息。该专利描述了按钮的半透明表面，当用户需要安全带时，安全带扣会亮起，这样你就可以轻松找到带扣。一旦插入安全带锁舌，灯熄灭，表明安全带已成功锁定。该专利描述的涉及一种安全约束装置，它利用穿过一个不透明表面的小孔阵列发出的光，向用户提供关于安全约束装置操作的信息。事实上，苹果之前就关注过安全带，2019年曾提出一项名为“强化版安全带”的专利，旨在通过给安全带增加更多元素，提供安全性。苹果公司表示，可能会在安全带外侧添加传感器、麦克风和扬声器等部件，从而让乘客可与车辆设备进行交互。另外，苹果还推出过涉及下一代具有多重控制功能的安全带系统的专利，可以帮助用户找到最合适的绑定位置。该专利提供一种改进的安全带定位和呈现系统，包括选择性定位安全带锚和安全带呈现器（presenter）。安全带锚可选择性定位，与座椅靠背垂直和水平。此外，安全带锚还可以共同固定或单独固定，这些功能允许乘员调整安全带的位置。...PC版：https://www.cnbeta.com.tw/articles/soft/1366565.htm手机版：https://m.cnbeta.com.tw/view/1366565.htm

AI 大牛吴恩达官宣加入亚马逊董事会

AI大牛吴恩达官宣加入亚马逊董事会亚马逊表示吴恩达博士是人工智能和教育领域的全球领导者，为一系列新兴技术带来了深刻的见解。吴恩达的加入将使董事会深入了解人工智能带来的机遇和挑战、社会变革和商业潜力。据了解，吴恩达为DeepLearningAI创始人、LandingAI创始人、Coursera联合创始人、斯坦福大学计算机科学系和电气工程系客座教授，曾任谷歌大脑深度学习项目创始人兼负责人、百度首席科学家、斯坦福大学人工智能实验室主任。线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

鹦鹉通过视频聊天结识网友，LeCun: 将语言模型称之为「随机鹦鹉」是在侮辱鹦鹉

鹦鹉通过视频聊天结识网友，LeCun:将语言模型称之为「随机鹦鹉」是在侮辱鹦鹉美国东北大学与MIT和格拉斯哥大学的科学家们合作进行了一项研究，调查了一群被驯养的鸟类在使用手机或平板电脑进行视频聊天后会发生什么。科学家向一群不同种类的鹦鹉及其志愿护理人员展示了如何使用平板电脑和智能手机在FacebookMessenger上相互视频通话。随后观察了这些鸟儿在三个月的时间里如何使用这种新发现的能力。结果表明，鸟儿们不仅会自由地发起视频通话，而且似乎明白屏幕另一端是真正的鹦鹉同伴，而且主人们压倒性地报告这些通话对他们的鹦鹉来说是积极的体验。一些主人看到他们的鸟儿从他们的视频朋友那里学习技能，包括觅食、新的发声甚至飞行。有些低沉的鸟甚至在通话中变得重新活泼起来。在初步试点研究中形成了一些强烈的偏好，库尼亚的鸟艾莉，一只戈芬氏凤头鹦鹉，与一只名叫饼干的加利福尼亚非洲灰鹦鹉很快成为朋友，一年多了它们还在视频聊天。https://news.northeastern.edu/2023/04/21/parrots-talking-video-calls/频道：@TestFlightCN

英国AI安全峰会首日：中美等28国签署宣言 马斯克等谈AI监管

英国AI安全峰会首日：中美等28国签署宣言马斯克等谈AI监管宣言重点关注两个方面，一是识别共同关注的AI安全风险，建立对这些风险的共同科学和基于证据的理解；二是各国制定各自基于风险的政策，以确保此类风险的安全，酌情开展合作。宣言提到，为推进这一议程，各国决定支持一个具有国际包容性的前沿AI安全科学研究网络，该网络包含并补充现有和新的多边、诸边与双边合作，包括通过现有的国际论坛和其他相关举措，为政策制定和公共利益提供最佳的科学支持。会议还确认了下一届峰会的主办方。英国数字部长米歇尔·唐兰（MichelleDonelan）宣布之后将再召开两场AI安全峰会，一场于6个月后由韩国主办，另一场将在一年内由法国主办。据路透社报道，我国科技部副部长吴朝晖在开幕式上称，中国政府愿意加强在AI安全方面的合作，帮助建立一个国际治理框架，秉持相互尊重、平等互利的原则，“国家不分大小，都享有平等开发和利用人工智能的权利……我们呼吁全球合作，分享人工智能知识，并以开源方式向公众提供人工智能技术。”▲我国科技部副部长吴朝晖美国商务部长吉娜·雷蒙多（GinaMarieRaimondo）称，美国将成立一个AI安全研究所，以评估所谓“前沿”AI模型的已知和新出现的风险。她在会上发表演讲时称：“我几乎肯定会呼吁学术界和工业界的许多观众加入这个联盟……我们无法单独做到这一点，私营部门必须挺身而出。”雷蒙多补充说，她还将致力于推动美国研究所与英国安全研究所建立正式的合作伙伴关系，这项新工作将由美国国家标准与技术研究院（NIST）负责。该部门称，此研究所“将促进AI模型安全、保障和测试标准的制定，制定验证AI生成内容的标准，并为研究人员提供测试环境，以评估新兴AI风险并解决已知影响”。▲美国商务部长雷蒙多美国副总统卡玛拉·哈里斯（KamalaHarris）当天在伦敦发表演讲，介绍美国政府对AI的应对措施。她的演讲时机受到一些英国高管和立法者的质疑，他们认为哈里斯似乎抢了AI安全峰会的风头。据两位消息人士透露，哈里斯已邀请多个研究小组与她一起参加周三在伦敦大使馆举行的闭门活动，这意味着一些与会者可能不得不提前离开布莱切利公园的峰会。据报道，哈里斯将在周三晚些时候与苏纳克会面共进晚餐，并将出席周四第二天的峰会。▲美国副总统哈里斯英国政府还在峰会上宣布，将投资3亿英镑（约合3.64亿美元）用于构建新的“AI研究资源”，以支持先进AI模型的研究。资金将主要用于建设两台新的超级计算机，分别位于剑桥和布里斯托尔，为研究人员提供比英国目前最大的公共AI计算工具容量大30倍以上的资源。据称，布里斯托尔的“Isambard-AI”超级计算机将包括来自英伟达的5000个先进AI芯片，由惠普构建；而剑桥的“Dawn”超级计算机将通过与戴尔和英国中小企业StackHPC的合作交付，并由1000多个英特尔芯片提供动力。这些机器将从明年夏天开始运行，将用于分析先进的AI模型以测试安全功能，并推动药物发现和清洁能源方面的突破。英国首相里希·苏纳克（RishiSunak）在社交媒体平台X上称：“前沿AI模型的力量正在呈指数级增长。这项投资将确保英国的科学人才拥有他们所需的工具，以确保最先进的AI模型的安全。”▲苏纳克在社交媒体平台X上评论除了各国政府，一些科技头部企业的高管和研究人员也出席了峰会。埃隆·马斯克（ElonMusk）称，希望建立一个“第三方裁判”，能够监督AI开发公司并在出现问题时发出警报。他在接受记者采访时说：“我不知道公平的规则是什么，但在进行监督之前，你必须从洞察力开始。”GoogleDeepmind联合创始人穆斯塔法·苏莱曼（MustafaSuleyman）告诉记者，他并不认为目前的AI前沿模型会造成任何“重大灾难性危害”，但他谈道，随着AI行业训练出越来越大的模型，提前做好规划是有意义的。结语：28国签署新宣言，推动AI风险管控议程此次峰会是首届全球性质的AI安全峰会，《布莱切利宣言》的签署有助于推动全球AI风险管理的进程。前沿AI模型可能带来的风险是不可忽视的，需要立法者、科技企业和国际社会共同监督与合作，确保这项技术能够负责任地造福于所有人。...PC版：https://www.cnbeta.com.tw/articles/soft/1394071.htm手机版：https://m.cnbeta.com.tw/view/1394071.htm

吴恩达：美国加州AI安全法案将扼杀开源大模型

吴恩达：美国加州AI安全法案将扼杀开源大模型例如，根据该法案的定义，Meta的Llama-3被定义为超过1亿美元训练成本的“前沿模型”。如果有人将该模型用于非法用途，Meta也会受到严重处罚。咱们2000多年前大秦的连坐制度，咋还出口了呢~加州的地理位置非常特殊，这里既有斯坦福、加州理工、南加州大学等名校，也是Google、苹果、OpenAI、Meta等科技巨头总部的所在地，所以，该法案也受到了吴恩达、YannLeCun等AI界泰斗的抵制。例如，该法案中的22603(a)(3)(4)条要求"有限职责豁免"向政府部门提交证明,并在有错误时停止模型的运行；第22603(b)条要求开发者需要报告任何模型的潜在的AI安全事故。如果开发者无法完全掌控基于其模型的各种衍生版本,若发生安全事故,责任将归属于第一开发者。也就是说，开发者需要对模型的能力做出保证,一旦大模型开源后被他人修改,能力发生变化,会面临合规风险的处罚。所以，企业、个人开发者在开源大模型权重时会非常谨慎，这相当于是一个连带责任。此外，该法案中的22604（a）（b）规定，当用户使用其“前沿模型”和算力资源时，开发者需要提交客户的所有资料，包括客户的身份、信用卡号、账号、客户标识符、交易标识符、电子邮件、电话号码。同时，每年都要提交一次资料，并对用户的行为、意图进行评估。用户的所有资料会被备份7年，也会在海关、边境总署备案。而开发者也需要具备紧急停止大模型的能力，例如，用户使用其模型用于别的业务场景，可以不用通过用户本地直接关闭模型。像这种严格的监管条例还有不少，无形之中会加重企业、开发者对大模型的合规成本和开放权重的态度。尤其是那种“秦朝连坐制度”，用户使用了你的模型开发了其他潜在危险的应用，特别是这个判定还很模糊，那么第一开发者弱没有“豁免权”将会一起被处罚，真的是挺离谱的。对于SB-1047法案的拟定，吴恩达发表了一篇深度长文进行回应。他表示，该法案中有很多问题，首先就是危险范畴定义不合理，如果有人使用他们的模型做超出规定的事情，原作者一起被处罚。此外对造成的伤害定义也不太好，例如，造成5亿美元的损失，这在AI领域还是很难实现的。如果最终议会通过了这个方案，那么将会对AI大模型领域造成很大影响，将彻底扼杀开源大模型的技术创新。吴恩达进一步指出，应该监管的是AI应用程序而不是大模型本身。例如，电机是一种技术。当我们把它放在搅拌机、电动汽车、透析机或导弹中时，它就成为了一种应用。如果我们通过法律规定，如果任何人以有害的方式使用电机，制造商将承担相应的责任。那么，电机制造商要么关闭生产，要么将电机的性能制造的非常小，难以大范围应用。SB-1047法案似乎没有考虑过大模型有益处的应用，而是全部针对他的有害来处理的，这是不公平的。如果这样的监管法案最终通过了，可能会阻止人们使用电机制造导弹，但我们也会失去使用搅拌机、电动汽车和透析机的机会。吴恩达在最近演讲中谈SB-1047更大的忧虑是，加州的SB-1047法案一旦通过，其他州可能会效仿，整个负面影响会不断扩大。图灵奖获得者、Meta首席科学家-YannLeCun直言，SB-1047法案意味着，加州的科技产业将直接面临终结。知名架构师DanielJeffries也赞成Yann的观点，并发表长文强烈呼吁加州议会对SB-1047法案提反对票。并且认为，SB-1047根本就不是一个法案，就是一个“特洛伊木马”。原因很简单，这是由一群小范围利益群体制定的规则，他们坚信AI大模型会带来“世界毁灭”，完全不顾他的好处。此外，他提出中国已经具备与OpenAI等科技巨头竞争的大模型，在电动汽车、自动驾驶、城市AI大脑皆处于领先地位。这个方案要是通过了，将直接压制美国AI领域的发展进程。普通用户对SB-1047法案也是相当抵制的，这个法案的最终目的，就是让第一开发者为自己的大模型永久负责，并保证不会出现任何危险。这简直是难以执行的监管，会严重影响开源领域的发展。同时嘲讽道，让一群平均年龄63岁的人，来监管AI大模型有点不靠谱啊~~也有人建议，不行就把开源大模型这事交给中国来做吧，Quen2、零一万物等开源大模型的性能已经和GPT-4、GPT-4o等旗鼓相当。...PC版：https://www.cnbeta.com.tw/articles/soft/1434999.htm手机版：https://m.cnbeta.com.tw/view/1434999.htm