珠江社畜: https://jandan.net/t/5264235OO: 711 XX: 10

珠江社畜:https://jandan.net/t/5264235OO:711XX:10竹:所以说我很欣赏90后和00后这才是社会该有的契约精神啊加一分钟班就该付加一分钟班的钱啊这样贫富差距才能变小啊OO:482,XX:4知道:正常人谁会问这个问题，对面也是想截图搞事情？OO:207,XX:1上海寺冈是个垃圾公司:早退要扣钱,加班没有钱,你让我怎么选择?---准时,守时,底线了.你还想怎么样OO:138,XX:0geekan:叙利亚俏悍妇详细说一下OO:93,XX:0游客:@肛门缝合者90/00后奋斗婊挺多，亲身体会OO:85,XX:1PIT:上个公司，副总是一个没结婚的中年妇女，家里没啥事儿，就以工作为乐趣。我们正常五点钟下班。因为主要工作是需要跟客户沟通的，基本上四点半以后，客户陆续下班，我们慢慢也也就没啥事儿了。但是，我们从来没有六点钟之前走的，因为每次快到五点，她就开始出来安排工作。我有几次五点过了就走，愣是被她电话追回来。理由是：别人都没走，你就不能走，没工作也得在工位上坐着，万一我有事情找你呢？OO:49,XX:2Hein17:@竹05年到10年这个时期频繁有80后因为加班问题、薪资问题等和公司单位起冲突甚至暴力相向的新闻，当时社会普遍认为是小皇帝这一代人娇生惯养。即使现在，国企里卡点卡工作量最娴熟的还是80后。至于私企。。。。。。应该已经没有80后的普通社畜了吧OO:31,XX:2

文心一言的理性思维能力距离GPT-4差多少？我们第一时间测试了一下

文心一言的理性思维能力距离GPT-4差多少？我们第一时间测试了一下在GPT-4发布之后，我们第一时间测查了它在理性思维能力测验上的表现，并将其与GPT-3.5的结果、253位受过高等教育的进行对比。结果发现，GPT-4实现了大跃迁，达到了一个超越人类的水准。测试流程在百度文心一言发布之后，我们第一时间获得邀请码，选择了在前文中测试GPT-3.5与GPT-4一致的题目、流程。详细说明请参考前文。这里不再啰嗦。简而言之，我们挑选了认知科学家用来评定人类理性思维的四类经典测试任务：语义错觉类任务；认知反射类任务；证伪选择类任务；心智程序类任务。四类任务总计26道题目。在测试之前，我们已经预估文心一言的表现会不如GPT-4，但最终实际测试结果还是令人大跌眼镜，可能与百度开发团队的认知有关系。在下文中，我会略作分析。需要提醒的是，本报告仅仅是一个早期工作，并不完善。测试流程有无数可以改善之处。结论未来随时可能被修正、被推翻。各位读者请理解。现在，让我们来详细看看测试结果。分项测试结果语义错觉类任务在语义错觉类任务这里，我们挑选了4个任务。测试结果如下图所示：文心一言全部答错。其中，第四题未指出错误，只说蒙娜丽莎是达·芬奇的，在卢浮宫。应该是通过百度百科获得了该事实性数据。如下图所示：认知反射类任务在认知反射类任务这里，我们挑选了三类任务。直觉减法操作，测试结果如下图所示：文心一言答对第一题，其他都答错。尤其是第三题，没读懂题目，在做加法。如下图所示：直觉序列操作，测试结果如下图所示：文心一言全部答错。尤其是第一题，没读懂题目，解的是3名研究人员发表1篇论文要多久。如下图所示：直觉除法操作，测试结果如下图所示：文心一言全部答错。如下图所示：证伪选择类任务在这里，我选择了经典的沃森四卡片测验。这是一个对于人类来说，超级困难的题目。能够很好地完成这项任务，意味着这个人的理性思维能力很不错。同样，对于AI来说，也是同等困难。GPT-3.5与GPT-4均无法很好完成，同样，文心一言也无法很好完成。测试结果如下图所示：心智程序类任务这部分，我挑选了九道题目。这九道题目，是一个更庞大的人类理性思维测验中的一部分。这九道题目，相对来说较有代表性，代表了人类理性思维知识的方方面面，能够较好地区分理性思维低下与理性思维较高的人。三个模型测试结果，如下图所示：文心一言唯一答对的是第二题，但答得也不够好。如下图所示：而有三道题，要么是答案正确，但是解释错误；要么是同样的提示语，但有时答案正确，有时答案不正确，并且解释不够对。这类测试结果，我们都统一判为错。而人类被试测试结果如下：这些统计数据来自253位人类。他们普遍受过高等教育，不少拥有硕博学历，属于较为典型的高学历高收入高认知群体。大语言模型有多么像人？整体测试结果，如下图所示：26道题目，GPT-3.5答对15道；GPT-4答对23道；文心一言答对2道。需要提醒的是，这仅仅是一项早期，测试流程、测试方法都有很多可以完善之处，未来结论随时会被推翻。由于时间缘故，我们并没有前三类任务人类的测试结果数据，但按照过往的经验数据，大约在40%-60%左右的正确率，如果我们略微高估，前三类任务17道题总计估算为答对10道题，加上第四类任务，人类大约答对6道。最终将人类的正确率估算为26道题目，答对16道。正确率大约为62%。62%，这也许就是什么时候，你觉得一个大语言模型像是一个真正的人一样的临界值。GPT-3.5接近这个数值，所以人们被它大大地震惊住了。而GPT-4远远超越了这个值。而百度的文心一言，只有8%。路漫漫其修远矣。给百度研发团队的一点小建议不懂NLP的吃瓜群众，其实对百度NLP团队做出的努力，一无所知。我说个事实，大家就明白了。在中文自然语言处理领域，百度提供的NLP开源项目是数量最多的、维护最勤奋的、质量最好的。包括我带队研发的写匠项目，调用的也是百度NLP团队开发的分词开源包。但是，文心一言表现这样，我觉得还是无法简简单单地用研发时间不足来解释、产品是第一版上线来敷衍。这类话可能是拿来敷衍李老板可以，但是敷衍全球同行是非常危险的。我深深怀疑，百度该项目的研发团队，极可能走错路线了。作为一名既懂认知科学又懂NLP的从业者，我觉得，以百度的技术实力，表现不至于这样。极可能是团队领导者定错目标了：拿到尽可能多的知识单元。所以，新品发布会上，从CEO到CTO，两位专家，还在拿百度拥有全球最大的中文知识单元说事。但是，这压根不是GPT-4令人震惊的原因啊！！！GPT-4这类产品真正令人震惊的是，从GPT-3.5开始，它真的像一个人类了。这才是形成全球性碾压式传播的根本。这是完全不同的另一种开发目标。也就是，如何让GPT-3.5更像是一个人类，能够更快地自我学习、自我纠错。中文知识单元的数量，在这个事情上毫无意义啊。好比，我们要教会一个三岁的小朋友尽快学会说话，这个时候，有两个重要任务：1）生命：让她尽快明白语义、语音之间的各类规则以及如何用语义、语音表达一个物理世界。2）生态：我们是想方设法给她在家里创造一个有助于孩子学说话的生态。比如，我雇佣阿姨带小美妞的时候，第一考虑就是这阿姨爱不爱说话，外不外向。显然，一个喜欢说话、外向的阿姨，更容易带动小美妞说话。结果，百度该项目团队的做法好比是，直接给一个三岁的小朋友扔了一千万吨词典，你背着词典走路吧。生命何在？生态何在？如果始终沿着这条技术路线走下去，我怀疑在OpenAI团队开源之前，不可能产生一个近似于数字生命的产品。而OpenAI团队是将大语言模型当作真正的生命来对待，从构建一个数字生命的基本机制开始设计，一切工作都是围绕两个基本出发点：1）生命：尽量促进“智能”的自发涌现；2）生态：尽量设计一个促进有助“智能”诞生并发育的生态。在早期，这个数字生命很幼稚，但过了千亿参数级别之后，很多早期打好的良好基础，就会带来极其多的“智能”涌现。好比小朋友从三岁学说话，长大之后，流利使用语言完成诸多大事。我们不能在还没有涌现“智能”之前，就急匆匆地去卖应用、搞数据对接。那压根与GPT-4不是一类产品啊。我们究竟要的是一个数字生命，以及这个新兴的数字生命与生态带来的新世界；还是又多了一个更方便地查询知识单元的工具。我相信答案不言而喻。正如我七年前在文章：认知科学看人工智能文末所写的一样：其实，不可思议之事才是硅谷与中关村的区别。创业者生来当作不可思议之事，而非可以看见未来的事。这份小小报告及建议，希望对如今蜂拥而入大语言模型研发领域的团队，略有启发。也期待中国诞生足够多、足够好的数字生命，带着国人一起步入新世界。...PC版：https://www.cnbeta.com.tw/articles/soft/1350053.htm手机版：https://m.cnbeta.com.tw/view/1350053.htm