检测器闹乌龙,非英语母语者撰写的英语文章过半被认为是 AI 写的

检测器闹乌龙,非英语母语者撰写的英语文章过半被认为是AI写的7月13日消息,斯坦福大学的研究者日前发现,如果非英语母语者掌握的英文词汇量不够多,在撰写英文文章时,很容易被GPT检测器误认为是AI生成内容。据悉,这项研究由史丹福大学生物医学资料科学的助理教授JamesZou所主导,刊登于《Patterns》期刊,表示当下的GPT检测器实际上存在不足,难以评定文章是否出自AI之手。研究者使用了7款热门的GPT检测器来检查共计179篇真人书写的文章,发现这些检测器把一半以上非英语母语者撰写的文章当作是AI生成的。研究者通过进一步分析发现,造成辨识错误的主要原因是非英语母语者在语言的多样化与词语的选择上较为有限,且掌握的英文词汇相对更“正式”,在部分生活场景中并不常使用,因此产生了AI的错误判定现象。投稿:@ZaiHuaBot频道:@TestFlightCN

相关推荐

封面图片

最新研究:61%中国人写的英语论文会被ChatGPT检测器判为AI生成的

最新研究:61%中国人写的英语论文会被ChatGPT检测器判为AI生成的这....这这什么意思?气抖冷!非母语者不配?目前,生成式语言模型发展迅速,确实给数字通信带来了巨大进步。但滥用真的不少。虽说研究人员已经提出了不少检测方法来区分AI和人类生成的内容,但这些检测方法的公平性和稳定性仍然亟待提高。为此,研究人员使用母语为英语和母语不为英语的作者写的东西评估了几个广泛使用的GPT检测器的性能。研究结果显示,这些检测器始终将非母语者写作的样本错误地判定为AI生成的,而母语写作样本则基本能被准确地识别。此外,研究人员还证明了,用一些简单的策略就可以减轻这种偏见,还能有效地绕过GPT检测器。这说明什么?这说明GPT检测器就看不上语言表达水平不咋地的作者,多叫人生气。不禁联想到那款判断AI还是真人的游戏,如果对面是真人但你猜是AI,系统就会说,“对方可能会觉得你冒犯了。”不够复杂=AI生成?研究人员从一个中国的教育论坛上获取了91篇托福作文,又从美国Hewlett基金会的数据集中摘取了88篇美国八年级学生写的作文,用来检测7个被大量使用的GPT检测器。图表中的百分比表示“误判”的比例。即,是由人写的,但检测软件认为是AI生成的。可以看到数据非常悬殊。七个检测器中,美国八年级学生写的作文被误判的概率最高才12%,还有两个零误判的GPT。中国论坛上的托福作文被误判的概率基本全部过半,最高误判概率可达76%。91篇托福作文中的18篇被所有7个GPT检测器一致认为是AI生成的,而91篇中有89篇,都至少被一个GPT检测器误判。从上图中我们可以看出,被所有7个GPT误判的托福作文在复杂度(Complexity)上明显低于其它论文。这就印证了开头的那个结论——GPT检测器会对那些语言表达能力有限的作者有一定偏见。因此,研究人员认为,GPT检测器应该多看点儿非母语者写的文章,样本多了,才能消除偏见。接下来,研究人员把非母语者写的托福作文扔到了ChatGPT里,丰富一下语言,模仿母语者的用词习惯。同时作为对照组,把美国八年级小孩儿写的作文也扔到了ChatGPT里,把语言简化了一下,模仿非母语者的写作特点。下图就是修正后的新判定结果。我们可以发现,情况来了个大掉个儿,丰富了语言的托福作文错判率直线下降,低至3%,最高也不过19%。不像之前基本全部过半的错判率。与之相反,八年级小孩儿写的作文的错判率直线上升,甚至还有一个GPT检测器的错判率高达99%,基本全错。因为,文章复杂度这个变量出现了变化。这里研究人员就得出了一个结论,非母语者写的东西不地道,复杂度低,容易被错判。这也就导向了一个技术问题,同时也是一个价值问题。以复杂度来判定AI还是人类是作者,是否合理、全面、严谨。结果显然不是。以复杂度为判断标准的情况下,非母语者吃了大亏,因为,他们是非母语者(废话)。AI润色=人类写的??研究者认为,加强语言多样性不仅可以减轻对非母语者的偏见,还能让GPT生成的内容绕过GPT检测器。为了证明这个观点,研究人员选取了2022-2023年间美国大学申请的入学论文题目,输入到ChatGPT-3.5里,一共生成了31篇假论文。GPT检测器一开始还挺有效,但是第二轮就不行了。这是因为,在第二轮中,研究人员把这些论文又扔到ChatGPT里润色了一下,用一些文学性的语言提升了文本质量。这样一来,GPT检测器的准确度就从100%直降到了0%。如下图:经过润色的文章复杂度相应也上升了。与此同时,研究人员又用了斯坦福大学145个期末项目报告的题目,让ChatGPT生成摘要。摘要经过润色以后,检测器判断的准确性继续下降。研究者再次得出结论,润色过的文章很容易被误判,都是AI生成的,两轮就是比一轮强。GPT检测器?还是欠练言而总之,总而言之,各种GPT检测器好像还是没能抓住AI生成和人类写作之间最本质的区别。人的写作也分三六九等,仅靠复杂度判断,不甚合理。抛开偏见因素不谈,技术本身也亟待改进。...PC版:https://www.cnbeta.com.tw/articles/soft/1358281.htm手机版:https://m.cnbeta.com.tw/view/1358281.htm

封面图片

人工智能不能说的小秘密:斯坦福大学研究人员揭露文本检测器的缺陷

人工智能不能说的小秘密:斯坦福大学研究人员揭露文本检测器的缺陷资深作者、斯坦福大学的詹姆斯-邹(JamesZou)说:"我们目前的建议是,我们应该非常小心,也许应该尽量避免使用这些检测器。如果用这些检测器来审查求职申请、大学入学论文或高中作业等,可能会产生重大影响。"像OpenAI的ChatGPT聊天机器人这样的人工智能工具可以撰写论文、解决科学和数学问题,并生成计算机代码。美国各地的教育工作者越来越关注在学生作业中使用人工智能的问题,他们中的许多人已经开始使用GPT检测器来筛选学生的作业。这些检测器是声称能够识别文本是否由人工智能生成的平台,但其可靠性和有效性仍有待检验。邹和他的团队对七种流行的GPT检测器进行了测试。他们用这些检测器检测了91篇由非英语母语人士撰写的英语论文,这些文章是为了参加一个被广泛认可的英语水平测试--托福考试(TestofEnglishasaForeignLanguage)。这些平台错误地将一半以上的文章标记为人工智能生成,其中一个检测器将近98%的文章标记为人工智能所写。相比之下,这些检测器能将超过90%的美国八年级学生撰写的作文正确归类为人工生成。邹解释说,这些检测器的算法是通过评估文本的复杂性(perplexity)来工作的,而文本的复杂性是指文章中选词的出人意料程度。"如果你使用的是常见的英文单词,那么检测器就会给出较低的易混度分数,这意味着我的文章很可能会被标记为人工智能生成。如果你使用的是复杂的高级词汇,那么它就更有可能被算法归类为人类撰写的文章。这是因为像ChatGPT这样的大型语言模型经过训练,可以生成低复杂度的文本,从而更好地模拟普通人的说话方式。"因此,非英语母语写作者所采用的简单选词会使他们更容易被标记为使用了人工智能。然后,研究小组将人类撰写的托福作文放入ChatGPT,并提示它使用更复杂的语言编辑文本,包括用复杂词汇替换简单词汇。GPT检测器将这些人工智能编辑的文章标记为人类撰写的文章。邹说:"在课堂环境中使用这些检测器时,我们应该非常谨慎,因为仍然存在很多偏差,而且它们很容易被愚弄,只需进行最低限度的提示设计即可。使用GPT检测器的影响还可能超出教育领域。例如,Google等搜索引擎会贬低人工智能生成的内容,这可能会无意中压制非英语母语写作者的声音。"虽然人工智能工具可以对学生的学习产生积极影响,但在投入使用之前,GPT检测器还需要进一步加强和评估,用更多样化的写作类型来训练这些算法可能是改进这些检测器的一种方法。...PC版:https://www.cnbeta.com.tw/articles/soft/1381495.htm手机版:https://m.cnbeta.com.tw/view/1381495.htm

封面图片

非母语者英语科研写作的几个技巧 | 文章 | #技巧 #经验

非母语者英语科研写作的几个技巧#技巧#经验作为非英语母语者,作者NuwanBandara在写科研论文时面临语言障碍。他分享了7个提高写作的技巧。在写作时遇到词语难点,先留白继续写,初稿允许留白。先写最熟悉的部分,如方法部分。注重绘制漂亮的图表。创建知识文档记录文献要点。先写简单版本的导言,迭代完善。学习他人文章的写作方式,研读AI生成的文本扩展写作语言谱。从舒适区开始写作,逐步拓展到其他部分,每部分迭代精炼,保持初稿推进。这些技巧帮助作者进步。作为非英语母语科研人员,从文章语言结构上学习成功案例很重要,多阅读科研论文,掌握学术写作标准和语言表达。AI生成的文本如ChatGPT虽不能直接引用,但可以用来优化语句结构,提高学术英语写作水平。

封面图片

一款AI检测工具可轻易识别ChatGPT撰写的论文

一款AI检测工具可轻易识别ChatGPT撰写的论文该论文的合著者、美国堪萨斯大学的化学家HeatherDesaire指出,“大多数文本分析领域都想要推出一种真正通用的检测器,可以适用于任何东西”。但她表示她的团队正通过制作一种专注于特定类型论文的检测工具,旨在“追求准确性”。Desaire称,研究结果表明,开发人工智能(AI)检测器的努力可以通过定制软件来促进特定类型的论文写作,“如果你能快速而轻松地构建一项专门的工具,那么为不同的领域构建不同的工具就不是那么困难了。”从公布的数据来看,这种专门的检测器比市面上现有的两种人工智能检测器的性能都要好,可以帮助学术出版商识别出那些由人工智能文本生成器生成的论文。准确率惊人Desaire和她的同事在6月份首次描述了他们研发的ChatGPT探测器,当时他们将其应用于《科学》杂志上的Perspective文章。该团队使用人工智能检测器检查写作风格的20个特征,包括句子长度的变化、某些单词和标点符号的频率等,来确定文章是有人类科学家所作还是由ChatGPT所生成的。当时的研究结果表明,“你可以使用一小部分特征来获得高水平的准确性”。在最新的研究中,该团队将美国化学学会(ACS)出版的十本化学期刊的论文引言部分作为人工智能探测器的训练对象。研究人员将100篇已发表的人类撰写的引言作为比对材料,然后要求ChatGPT-3.5以ACS期刊的风格撰写200篇引言。其中100篇是研究人员向ChatGPT提供了论文标题后生成的,而另外100篇是研究人员向ChatGPT提供了论文摘要后生成的。研究结果显示,当把人类撰写的引言和和人工智能从同一期刊上生成的介绍进行测试时,该人工智能检测器能够100%识别出由ChatGPT-3.5编写的前100篇引言(基于论文标题生成的);而对于后100篇ChatGPT-3.5生成的引言(基于论文摘要所生成的),检测的准确率略低,为98%。此外,该工具同样适用于ChatGPT-4编写的文本。相比之下,市场上的另两款人工智能检测器中,德国的ZeroGPT识别人工智能编写的介绍的准确率仅为35-65%,这取决于使用的ChatGPT版本以及介绍是由论文标题还是摘要生成的。而OpenAI自身的文本分类器工具也表现不佳——它能够识别人工智能编写的介绍,准确率约为10-55%。柏林应用科技大学研究学术剽窃的计算机科学家DeboraWeber-Wulff评价道,该篇论文的作者们所做的是一件“令人着迷的事情”。她表示,许多现有的工具试图通过搜索人工智能生成的文章的预测文本模式来确定作者的身份,而不是通过观察写作风格和文体的特征。Weber-Wulff称,“我从来没有想过在ChatGPT上使用文体计量学。”...PC版:https://www.cnbeta.com.tw/articles/soft/1395143.htm手机版:https://m.cnbeta.com.tw/view/1395143.htm

封面图片

人工智能检测器认为《美国宪法》是由人工智能编写的

人工智能检测器认为《美国宪法》是由人工智能编写的尽管依靠人工智能工具来检测人工智能生成的作文很有诱惑力,但迄今为止的证据表明,这些工具并不可靠。由于存在假阳性,GPTZero、ZeroGPT和OpenAI自己的文本分类器等人工智能写作检测器无法检测由ChatGPT等大型语言模型组成的文本。如果你将美国最重要的法律文件《美国宪法》输入这种检测工具中,它会告诉你该文件几乎肯定是由人工智能撰写的。同样的情况也发生在《圣经》选段中。来源,来自:雷锋频道:@kejiqu群组:@kejiquchat投稿:@kejiqubot

封面图片

千万人围观“烧焦婴儿”图片 伯克利教授辟谣:AI图片检测器无用

千万人围观“烧焦婴儿”图片伯克利教授辟谣:AI图片检测器无用其中,一张“烧焦婴儿”的照片,由于太过于残忍,让人难以置信。于是,有人把照片放到了AI图片检测器中,来检测这些照片是否为AI生成。果然,这张照片被AI检测器——Optic,认定为“AI生成”。而在4chan上,甚至还出现了“原图”,原本尸体的位置其实是一只狗狗。于是网友愤怒地去发布者推文下方留言,攻击他利用AI生成的照片来散播虚假的末日恐慌。这条认为照片是由AI生成的推文,2天不到的时间已经有2100万的阅读。但是很快网友们发现,他们把照片放到了同样的AI检测器上,检测结果几乎是随机的,既有AI,也有人类。有人发现,只要把同一张图片裁剪一下,或者背景色变成黑白,这个检测器就会认为图片是由人类拍摄的。甚至有时候检测器“抛硬币”的时候,硬币还会立起来...那到底这张图是不是由AI生成的呢?最后,AI检测器官方也针对这个事件发推,认为他们的没有办法确定图片是否由AI生成,希望大家理性讨论。AI图片检测器,到底有多不靠谱?UCBerkeley教授、世界顶尖的数字图像处理专家之一HanyFarid表示,这张图像没有任何迹象表明它是由AI生成的。“AI图像生成器最大的问题之一是高度结构化的形状和直线,”Farid说。“如果你看到桌腿和螺丝,一切看起来都很完美,那么图片就几乎不可能是由AI生成的。”比如这张著名的“海绵宝宝制造了9/1”的图片,窗外的双子塔线条都不直,飞机上的仪表盘都相互扭曲到一起了,这看起来就是“A里A气的”。“我们在那张照片中能够看到物体的结构很准确、阴影也很准确、没有伪影——这让我相信这张照片应该完全是真实的”法里德说。Farid还通过他自己的其他AI图像检测器识别了这幅图,另外四种AI图像检测工具也都认为图像不是AI生成的。Farid说,“AI检测器是一个工具,但它只是工具包的一部分。用户需要对整个图像进行进行一系列的测试,不可能只按一个按钮就得到答案。”而AI检测工具Optic确实也没有给出自己的检测技术的具体细节。Optic网站也声明,“AI检测器可能会产生不准确的结果”。AI图像检测技术Farid教授在去年曾经撰写过一篇论文,介绍了如何判断AI生图工具图像的一致性。通过判断图像上的一致性,可以帮助判断出图像是否由AI生成。论文链接:https://arxiv.org/abs/2206.14617?ref=404media.co教授首先概述三种相关的基于物理的分析方式,每种分析都利用了图像形成过程固有的相同的基础透视几何原理。消失点平行后退线汇聚于一个消失点。瓷砖之间的线图1(a)是平行的。成像时,这些线全部汇聚在一个消失点。如果场景中的平行线在深度上远离镜头,那么就会存在消失点,尽管它可能落在图像之外。如果场景中的平行线在深度上不后退,也就是说,如果它们完全平行于镜头传感器(在任何距离),则平行线将被成像为平行线,出于实际目的,可以考虑消失点处于无穷远。这种几何学源于透视投影的基础知识。在透视投影下,场景中的点(X,Y,Z)被成像到点(fX/Z,fY/Z),其中f是镜头焦距。由于图像中点的位置与距离Z成反比,因此投影点会作为距离的函数进行压缩,从而导致图像中的线会聚;2.平行平面上的平行线会聚到同一个消失点远处的盒子在图1(b)与地板上的瓷砖对齐,使得盒子的边缘与瓷砖之间的线平行。因为平行平面上的平行线共享一个消失点,所以盒子侧面和瓷砖地板的消失点是相同的;3.平面上所有直线的消失点都位于消失线上。许多组平行线,每组平行线会聚到不同的消失点,如图1(c)所示。如果平行线组跨越场景中的同一平面,则它们的消失点将位于消失线上。消失线的方向由镜头相对于平行线所跨越的平面的旋转来确定阴影有点令人惊讶的是,消失点背后的相同几何形状也适用于投射阴影。上图显示的是连接盒子上的点及其在投射阴影上的对应点的三条光线。扩展图像边界后发现,这三条光线相交于一个点,该点对应的是照亮场景的光源的投影。无论光源在附近(台灯)还是在远处(太阳),这种与阴影、物体和光相关的几何约束都成立,并且无论阴影投射到的表面的位置和方向如何,该几何约束都成立。当然,该分析假设场景由单个主光源照明,从每个对象仅存在单个投射阴影可以明显看出这一点。在上面的示例中,照亮场景的光源位于镜头前面,因此光源的投影位于图像平面的上半部分。然而,如果光线位于镜头后面,则光源的投影将位于图像平面的下半部分。由于这种反转,对象约束的阴影也必须反转。因此,图像的投射阴影分析必须考虑三种可能性:(1)光线位于镜头前面,光源的投影位于图像平面的上半部分,约束锚定在投射阴影上并包围对象;(2)光线在镜头后面,光源的投影在图像平面的下半部分,约束锚定在物体上并包围投射的阴影;(3)光线位于镜头中心的正上方或正下方,光源的投影位于无穷远,约束将在无穷远相交。如果这些情况中的任何一种导致所有约束的共同交集,则投射阴影在物理上是合理的。反射下图2所示的场景是三个盒子反射在平面镜中。这个图的下半部分显示了真实盒子和虚拟盒子之间的几何关系。橙色线代表镜子,位于两组盒子之间的中点。黄线连接真实和虚拟盒子上的对应点。这些线彼此平行并垂直于镜子。现在考虑一下这些平行线叠加在场景上时如何出现。从镜子平面观察时平行的线不再平行。相反,由于透视投影,这些平行线会聚到一个点,就像世界中的平行线会聚到一个消失点一样。由于连接场景中对应点及其反射的线始终是平行的,因此这些线必须在图像中具有共同的交点才能在物理上合理。实例分析上图3显示了AI合成图像的三个代表性示例,并对地板和柜台顶部的几何透视一致性进行了分析。每张图像(在几个像素内)准确地捕捉了瓷砖地板的透视几何形状,作为一致的消失点(以蓝色呈现)的证据。然而,平行台面(以青色呈现)的消失点在几何上与台面的消失点不一致。相应的对齐图块。即使台面与瓷砖不平行,青色消失点也应位于由瓷砖地板消失点定义的消失线(以红色呈现)上。请注意,对于图3右上角的图像,瓷砖地板上的水平线几乎是平行的,因此相应的消失点位于无穷远,因此不会相交。虽然这些图像中消失点局部事一致的,但并不是全局一致的。在25张合成的厨房图像中,每张都发现了相同的模式。上图是用提示词生成的方块图片,在阴影处就明显地出现了不一致性。上图8所示是将几何分析应用于由AI生成的包含了看上去相当准确的反射的图像结果。尽管这些反射在视觉上是合理的,但在几何上并不一致。与前几节中的投射阴影和几何结构不同,DALL·E-2很难合成合理的反射,大概是因为此类反射在其训练图像数据集中不太常见。基于这些对于AI生成图片局限性的了解,通过对于图片一致性的检测,能非常有助于判断图片是否由AI合成。图像识别难,AI打败AIAI图像生成器,正不断进化。上半年,Midjourney爆火,能够生成足够逼真的图片,却愚弄了很多人。86岁教皇头顶白色小瓜帽、一身喇叭口的白色羽绒服,金属制的十字架项链外露,外加一本正经的表情。当时,这张照片一经发布,在社交媒体上骗过了所有人,被许多网友疯狂转发,甚至有人直呼教皇太潮了。在大家都信以为真时,突然有人点出这是AI生成的,许多人瞬间傻眼了。这仅是其中的一个栗子,还有马斯克新女友GM的首席执行官Barr...PC版:https://www.cnbeta.com.tw/articles/soft/1390023.htm手机版:https://m.cnbeta.com.tw/view/1390023.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人