和一位算法朋友聊了个有意思的话题:ChatGPT的“价值观”从何而来?

和一位算法朋友聊了个有意思的话题:ChatGPT的“价值观”从何而来?不知道大家有没有和我一样的感觉。ChatGPT,有一套很正的价值观:坦诚、客观、尊重每个个体。如果它是人,是个很值得相处的人。但是,它毕竟是个算法,价值观从何而来呢?那位做算法的朋友,正好和开发了ChatGPT的OpenAI团队有过交流。原来,背后的逻辑是这样的——其实,决定每个算法会训练出什么结果的,主要是三个要素:素材、算法技术和目标函数。算法的生产过程,就是机器算法在素材帮助下,对每个问题给出回答。“目标函数”会评价每个回答的结果“好”还是“不好”。算法就会不断去改进,直到“好”的结果越来越多。也就找到了最可能实现“目标函数”的结果。比如,抖音的推荐算法,其目标函数中最关键的变量,就是“让用户更长时间看抖音”。于是,算法就会找出最能取悦用户的结果。抖音的沉迷由此而生。决定了ChatGPT会不会在表达中有价值观、有怎样价值观的,同样是目标函数。这个目标函数的主要构成是“人”。为了评估ChatGPT给出的每个回答“好”还是“不好”。OpenAI有一个合作了多年的评估者团队。与国内对地图、文本做标注的评估团队不同。OpenAI的评估者,不仅仅要掌握评估的技能,还被要求有良好的道德。这些评估者们需要在面试时接受对自身道德标准的全面考核。当他们在评估ChatGPT给出的结果时,并不仅仅会看这个结果逻辑上对不对。还会基于自己的道德标准做出评判。当然,ChatGPT作为如此复杂的算法,实际的评估过程工作量也是巨大的。所以OpenAI也开发了另一个算法,模仿评估团队的评估结果。于是,ChatGPT的道德与价值观,并不来自于任何一个个体。也不来自于一堆被预先写好的参数。而是来自于这一群人的道德。这一群人,就像一个“陪审团”。陪审团的群体价值观,在算法的放大下,成为了ChatGPT的价值观。

相关推荐

封面图片

娱乐有意思|躺平,不消费,不社交,不结婚,年轻人的另类抵抗

无论是躺平还是奋斗,都是一种人生选择,谁都无权干涉。随着当今996、内卷化的盛行,很多年轻人不得不重新审视自己的价值观,做出最有利自己的选择,躺平无疑就是其中之一。

封面图片

TACO(Topics in Algorithmic COde Generation dataset)是一个专注于算法代码生成的

(TopicsinAlgorithmicCOdeGenerationdataset)是一个专注于算法代码生成的数据集,旨在为代码生成模型领域提供更具挑战性的训练数据集和评估基准。该数据集由难度更大、更接近真实编程场景的编程竞赛题组成。它强调在实际应用场景中提高或评估模型的理解和推理能力,而不仅仅是实现预定义的函数功能。规模更大:TACO包括训练集(25,443个问题)和测试集(1,000个问题),使其成为当前可用的最大的代码生成数据集。更高质量:TACO数据集中的每个问题都旨在匹配一组不同的解决方案答案,答案大小高达1.55M。这保证了模型在训练过程中不易出现过拟合,并验证了评估结果的有效性。细粒度标签:TACO数据集中的每个问题都包含细粒度标签,例如任务主题、算法、技能和难度级别。这些标签为代码生成模型的训练和评估提供了更准确的参考。

封面图片

港府称或涉潜在风险 不计划让官员使用ChatGPT

港府称或涉潜在风险不计划让官员使用ChatGPT香港创新科技及工业局局长孙东说,ChatGPT或涉潜在风险,因此港府不计划让官员使用该应用程序。综合《星岛日报》《南华早报》报道,孙东星期五(4月14日)在出席在香港湾仔会展中心举行的2023年数字经济峰会后对记者说,ChatGPT推出对世界各国带来巨大冲击,部分国家或地区因保护私隐等原因,暂时禁止这项人工智能应用的使用。孙东说,港府一直对相关议题保持高度关注,将继续以非常开放态度对待有关技术的发展,但美国OpenAI公司未正式对香港开放使用ChatGPT的权限,加上ChatGPT可能带来潜在资讯保安风险,因此港府暂时未有计划将ChatGPT正式列入应用程式,供港府内部使用。孙东早前称,港府将成立工作小组,检验人工智能相关应用程序,以确定是否要立法管制。他也说,港府计划研发类似的人工智能聊天机器人,以跟进全球创新发展趋势。港府将在今年向公众咨询有关设立人工智能超级计算中心,以吸引顶级人才和科技企业赴港发展。此前,中国国家互联网信息办公室星期二(11日)发布针对生成式人工智能技术的监管草案,要求业者在提供服务前向当局申报安全评估,确保生成内容体现社会主义核心价值观,不含有颠覆国家政权的信息。草案表明,中国支持人工智能算法、框架等基础技术的自主创新。不过,企业在向民众提供生成式人工智能服务前,必须向网信部门申报安全评估;生成内容应当体现社会主义核心价值观,不得含有颠覆国家政权、推翻社会主义制度、煽动分裂或破坏国家统一、宣扬恐怖极端主义、民族仇恨、可能扰乱经济及社会秩序等内容。草案也规定企业也须确保内容真实准确,采取措施防止生成虚假信息;禁止非法获取、披露、利用个人信息和隐私和商业秘密。用户方则须依法提供真实身份信息等。

封面图片

“终结者”走入现实?微软的野心:用ChatGPT控制机器人

“终结者”走入现实?微软的野心:用ChatGPT控制机器人不过,现在的ChatGPT只会动动嘴皮子,并没有任何接触现实物理世界的能力,顶多也就是当个科幻小说看看。但要是ChatGPT真的可以操控机器人呢?最近,微软发表了一篇论文,公布了他们正在把ChatGPT应用于机器人上的研究成果。不过微软的目标并非是“毁灭世界”,而是加快机器人的开发速度。实际上在现代的生活和生产流程中,处处都离不开机器人,从工厂里制造产品的机械臂,到家庭里用的吸尘器,都可以算作是机器人(robot)。每次想开发一个新产品,或者让现有的机器执行一个新功能,都需要一个高级工程师编写代码,同时尽可能编写测试覆盖所有场景。微软在论文中提出了一套新的设计原则,通过ChatGPT这样的大型语言模型来给机器人提供指令。ChatGPT:机器人控制器ChatGPT之所以爆火,其根本原因就在于:AI终于在一定程度上能“听懂人话”了,而非只是按照语法胡乱生成内容;而且它的功能也很强大,问答、写论文、写诗、写代码,只要prompt写得够好,ChatGPT的表现也会更惊人。要是把这种能力迁移到机器人身上,假设几十年以后,各家各户都有机器人,只要说一声“给我热一下午餐”,它就能自己找到微波炉,再把菜端回来,人机交互直接迈入新时代。虽然“自然语言”很简洁,但现有的机器人开发还是依赖于“编程语言”。ChatGPT是一个基于大量文本和人类反馈训练得到的语言模型,能够针对各种各样的提示和问题产生连贯且语法正确的回应。这项研究的目的是观察ChatGPT是否能够在文本之外的领域进行思考,并推理出物理世界来帮助机器人完成任务。研究人员预期ChatGPT能够帮助用户更容易地与机器人交互,而不需要学习复杂的编程语言或机器人系统的细节,其中的关键难题就是教ChatGPT如何使用物理定律、操作环境的背景以及了解机器人的物理行为如何改变世界状态,并以此来解决指定的任务。实验证明,ChatGPT可以独立完成很多工作,但是它仍然需要一些辅助,论文中描述了一系列的设计原则,可以用来指导语言模型解决机器人任务,包括但不限于特殊的提示结构、高级API和基于文本的人类反馈等,一场机器人系统的开发革命即将到来。全新的代码设计流程给大型语言模型写prompt是一门高度经验主义的科学,通过反复试验,研究人员建立了一套方法论和设计原则,专门用于为机器人任务撰写提示:1.定义了一组高级机器人API或函数库。这个库可根据特定的机器人类型进行设计,并且应该从机器人的控制栈或感知库映射到现有的低层次具体实现。对高级API使用的描述性名称非常重要,可以帮助ChatGPT推断函数的功能。2.为ChatGPT编写一个文本提示,用来描述任务目标,同时显式说明高级库中的哪些函数是可用的。提示中还可以包含有关任务约束的信息,或者ChatGPT应该如何组织它的答案,包括使用特定的编程语言,使用辅助解析组件等;3.用户在循环中评估ChatGPT的代码输出,可以直接执行代码以检查正确性,也可以使用模拟器。如果有需要的话,用户可以使用自然语言向ChatGPT提供有关答案质量和安全性的反馈。当用户对解决方案感到满意时,就可以将最终的代码部署到机器人上。ChatGPT+机器人能做什么?下面是几个例子,更完整的ChatGPT能力列表参见代码仓库。代码链接:https://github.com/microsoft/PromptCraft-RoboticsZero-shot任务规划当ChatGPT遇上无人机,研究人员首先让ChatGPT能够控制一台真正的无人机的全部功能,然后按照下面视频中进行的对话,实验结果证明,一个完全不懂技术的用户,只需要通过对话就能实现控制无人机,“自然语言”是一个非常直观、高效的用户接口。03:04当用户的指令含糊不清时,ChatGPT会要求用户进一步说明问题,并为无人机编写复杂的代码结构,例如飞行之字(zig-zag)图案,以便可视化地检查货架;甚至还能给用户来一张自拍。研究人员还在MicrosoftAirSim模拟器中对工业检查场景中使用ChatGPT进行模拟,结果显示该模型能够有效地解析用户的高级意图和几何线索,以准确地控制无人机。03:43复杂的任务需要用户参与反馈当把ChatGPT用于机械臂的操作场景时,研究人员使用“会话反馈”(conversationalfeedback)来教模型如何将最初提供的API组合成更复杂的高级函数,即ChatGPT自己内部编码的函数。使用以课程为基础(curriculum-based)的策略,ChatGPT能够将这些学到的技能有逻辑地链接在一起,以执行诸如堆叠块之类的操作。此外,还有一个例子能展现出ChatGPT的强大能力,研究人员要求模型用木块构建微软标志,即需要将文本域和物理域连接起来。ChatGPT不仅能够从内部知识库中回忆出微软的logo,还能够用SVG的代码“绘制”出这个标志,然后利用上面学到的技能来确定现有的机器人动作可以组成它的物理形式。02:16还有一个例子,研究人员让ChatGPT编写一个算法,让无人机在不撞上障碍物的情况下,在空中达到目标。只需要告诉模型,它操控的这架无人机有一个前向距离传感器,ChatGPT立即能够为算法编码了大部分关键构件,这个任务需要与人类进行一些对话,ChatGPT仅通过自然语言反馈就能进行局部代码修改。01:12在行动之前感知世界在算法决定做某事(action)之前能够感知世界(perception)是打造一个机器人系统的基础。为了测试ChatGPT对指定概念的理解,研究人员设计了一个框架,要求ChatGPT不断探索环境,让模型访问诸如目标检测和目标距离API之类的函数,直到找到用户指定的对象,整个过程称为感知-行动循环(Perception-actionloops)。在实验环节,研究人员进行了额外的实验来评估ChatGPT是否能够根据传感器的实时反馈来决定机器人应该去哪里,而不是让ChatGPT生成一个代码循环来做出这些决定。实验结果验证了用户可以在聊天的每一步输入一个相机图像的文本描述,并且模型能够找出如何控制机器人,并驱使机器人到达一个特定的对象。01:42开源PromptCraft:收集有价值的prompt“良好的prompting工程”对于ChatGPT等大型语言模型成功执行机器人任务来说至关重要。但prompting完全是一门经验主义的科学、缺乏全面的总结,并且相关资源也很少,没有数据集来帮助该领域的研究人员和爱好者判断什么是一个好的prompt为了弥补这一劣势,研究人员开源了一个平台PromptCraft,任何用户都可以在其上分享不同机器人类别的提示策略示例。这次研究项目的所有提示和对话都已经放在了仓库中,感兴趣的读者可以继续参与贡献!除了快速设计之外,研究人员还计划未来开发多个机器人模拟器和接口,以允许用户测试ChatGPT生成的算法性能,目前已经发布了一个集成ChatGPT的AirSim环境。把机器人带出实验室,走向世界微软发布这些技术的目的是将机器人技术推广到更广泛的受众,研究人员认为,基于语言的机器人控制系统是把机器人从科学实验室带到日常用户手中的基础。也就是说,ChatGPT的输出不应该在没有仔细分析的情况下直接部署在机器人上。通过在模拟环境中获得实验结果,能够在未来现实部署之前对算法进行评估,并采取必要的安全预防措施。...PC版:https://www.cnbeta.com.tw/articles/soft/1346449.htm手机版:https://m.cnbeta.com.tw/view/1346449.htm

封面图片

今天的hacker news第2个热点非常有意思:)值得大家一看:

今天的hackernews第2个热点非常有意思:)值得大家一看:LMSYSOrg这个组织最近开放了Chatbot领域的“混聊大内斗”,并每周都公开排行榜。竞技模式:他们把所有授予他们API接口的模型放到一块,每个模型随机匹配到与其它模型进行聊天对话。这些对话采用的是自然语言,而不是预定义的对话集合。在每次对话结束后,旁观的用户、开发者等等可以对两个参与对话的模型进行投票,以表达他们对这两个模型表现的偏好。投票是匿名的,每个用户只能对同一对话投一次票。投票结果被用来计算Elo评分,Elo评分越高的模型被认为是更强大的语言模型。图一:4月24日至5月24日之间的投票结果,投票人数27k(清华大学的开放式双语对话语言模型排16,这个排行榜仅限于授权给这个团队API权限的模型里)。图二:所有非平局A对B战斗中,模型A获胜比例—————————排行榜的下半部分团队着重提了他们重点观察的GooglePaLM2模型,我总结了一下大概这么几个点:1)总体情况还可:在过去的两周里,PaLM2与其他16个聊天机器人进行了约1.8k次匿名对战,目前在排行榜上排名第6。除了Vicuna-13B(Vicuna的Elo分数比PaLM2高12分,即Vicuna1054vs.PaLM21042,根据ELO分数来看几乎是虚拟平局)之外,它在所有开源聊天机器人中排名最高。2)遇强则强,遇弱则弱,好似某个红衣球队,名字我不提:PaLM2在与前4名选手(即GPT-4、Claude-v1、ChatGPT、Claude-instant-v1)对战时表现更好,与Vicuna的对战中赢得了53%的比赛,但在与实力较弱的选手对战时表现较差。3)觉悟较高:PaLM2似乎受到的监管比其他模型更为严格。在许多用户对话中,当用户提问PaLM2不确定或不适合回答的问题时,PaLM2比其他模型更可能选择不回应。下面这个数据mademyday:在所有成对对战中,PaLM2由于拒绝回答而输掉了20.9%的对战,并且由于拒绝回答而输给不属于前四名(GPT-4,Claude-v1,ChatGPT,Claude-instant-v1)的聊天机器人30.8%的对战。

封面图片

马斯克承认Grok不如ChatGPT 但今年能赶上

马斯克承认Grok不如ChatGPT但今年能赶上马斯克说:“政治正确通常是不正确的,这意味着你在编程让AI撒谎,我认为这会产生非常严重的适得其反的效果。诚实是最好的政策。”他把让人工智能变得更聪明比作抚养孩子:“重要的是你做什么……用价值观来抚养它。我关心的是微软的价值观,或者OpenAI、谷歌的价值观。”马斯克说,他的人工智能初创公司xAI的聊天机器人Grok将“尽最大努力做到严谨,追求真相,做到最有趣。如果我们终将死去,我们最好是笑着死去。”但他承认,在Grok能与OpenAI或谷歌的Gemini竞争之前,还有“很多追赶要做”。他说,这可能在今年年底前实现。他还讨论了人工智能如何改变教育,并表示父母仍然需要对价值观和道德负责。然而,他说,人工智能可以帮助量身定制课程,这样每个孩子都可以有一个阿尔伯特·爱因斯坦式的老师。他并不担心人工智能对儿童的影响,但他表示,尽管自2022年以来拥有自己的社交媒体公司,但他对社交媒体感到担忧,社交媒体一直被批评为虚假信息和猖獗仇恨言论的地方。“我确实担心现在的孩子们受到社交媒体的训练,社交媒体会最大化多巴胺。我敦促家长们限制孩子们使用社交媒体,因为它们是被编程的。”马斯克称,未来的工作将是“可选的”。他说:“如果你想做一份有点像爱好的工作,你可以做。但除此之外,AI和机器人将提供你想要的任何商品和服务。”马斯克说,要实现这一设想,就需要有“普遍高收入”,而不是普遍基本收入。他说:“商品和服务不会短缺。”另一方面,马斯克也直言不讳地表达了他对人工智能的担忧。他称这项技术是他最大的恐惧。他提到伊恩·班克斯(IanBanks)的《文明》系列科幻小说是最现实的,也是“对未来人工智能的最佳设想”。班克斯在这本书中以乌托邦式的虚构视角,描绘了一个由先进技术运行的社会。马斯克还提出了一个问题,在一个没有工作的未来,人们如何找到生活的意义。“真正的问题将是意义问题——如果电脑和机器人在任何事情上都比你做得好,你的生活还有意义吗?”他说,“我确实认为人类在这方面可能仍然有作用,因为我们可能会赋予人工智能意义。”...PC版:https://www.cnbeta.com.tw/articles/soft/1432132.htm手机版:https://m.cnbeta.com.tw/view/1432132.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人