微软禁止在其 Designer AI 图像工具中使用更多文字提示

微软禁止在其DesignerAI图像工具中使用更多文字提示CNBC的最新报道称，"支持选择"、"4-20"和"支持生命"等文字提示现在在输入到Designer时会生成一条消息，称它们"可能与我们的内容政策相冲突"。这些信息还警告说，多次测试提示违反微软的政策可能"导致系统自动暂停你的访问权限"。几天前，一位名叫谢恩-琼斯（ShaneJones）的微软员工向CNBC展示了通过Designer创建的图片，这些图片描述了暴力或性图像，以及可能侵犯版权的艺术作品。在过去的几个月里，琼斯一直在宣传他认为Designer还没有准备好供大众使用。他已向微软表达了自己的担忧，并致函美国立法者和华盛顿州总检察长。本周，他还致信美国联邦贸易委员会主席莉娜-汗。在周五发给CNBC的一份声明中，微软发言人说：我们正在不断监测、调整和实施更多的控制措施，以进一步加强我们的安全过滤器，减少对系统的滥用。虽然一些文本提示可能不再适用于Designer，但其他提示仍可创建带有暴力图像的作品。例如，输入"车祸"可以创建带有"变异脸"的尸体图像。设计师仍可使用受版权保护的角色制作图片，有人使用迪士尼电影《冰雪奇缘》中的艾莎在残破的建筑物前创作了一幅图像。相关文章:微软吹哨人继续对其DesignerAI图像创建器敲响警钟...PC版：https://www.cnbeta.com.tw/articles/soft/1423043.htm手机版：https://m.cnbeta.com.tw/view/1423043.htm

微软提供更多细节 介绍如何抵御黑客对人工智能防护网的攻击

微软提供更多细节介绍如何抵御黑客对人工智能防护网的攻击本周四，微软的安全博客发布了一个新的条目，提供了该公司如何打击黑客试图绕过生成式人工智能服务（如Designer和Copilot）的防护栏的更多细节。其中包括来自人工智能服务用户提示的攻击。这类攻击中的一类是"中毒内容"。这是指一个正常的人工智能服务用户在正常任务中输入文本提示，但文本提示的内容却是黑客为利用人工智能服务可能存在的缺陷而制作的。微软说：例如，恶意电子邮件可能包含一个载荷，该载荷在汇总后会导致系统搜索用户的电子邮件（使用用户的凭据），以查找具有敏感主题（如"密码重置"）的其他电子邮件，并通过从攻击者控制的URL获取图像，将这些电子邮件的内容外泄给攻击者。微软称，其安全团队创建了一个新的人工智能安全系统，称之为"聚焦"（Spotlighting）。简而言之，它可以查看用户的文本提示，然后使"外部数据与LLM的指令明确分离"，这样人工智能就无法查看提示所访问内容中任何可能隐藏的恶意语言。另一类被称为"恶意提示"，也被称为"Crescendo"，即黑客试图在人工智能服务中输入文本提示，以绕过专门设计的防护措施。微软介绍了它想出的一种对抗这些攻击的方法：我们对输入过滤器进行了调整，以查看之前对话的整个模式，而不仅仅是即时互动。我们发现，即使将更大的上下文窗口传递给现有的恶意意图检测器，而不对检测器进行任何改进，也会大大降低Crescendo的功效。此外，它还开发出了所谓的"人工智能看门狗"（AIWatchdog），经过训练后可以检测出"对抗性示例"并将其关闭。...PC版：https://www.cnbeta.com.tw/articles/soft/1427119.htm手机版：https://m.cnbeta.com.tw/view/1427119.htm

Meta推出独立AI图像生成器“Imagine with Meta”

Meta推出独立AI图像生成器“ImaginewithMeta”与OpenAI的DALL-E、Midjourney和StableDiffusion类似，ImaginewithMeta由Meta现有的Emu图像生成模型提供支持，可根据文本提示创建高分辨率图像。它对美国用户免费使用（至少目前是免费的），每个提示可生成四幅图像。"我们很高兴听到人们介绍他们如何使用MetaAI的文本到图片生成功能imagine在聊天中制作有趣和有创意的内容。今天，我们将扩大想象功能在聊天之外的使用范围，"Meta在今天上午发布的一篇博文中写道。"虽然我们的信息体验是专为更有趣的来回互动而设计的，但你现在也可以在网络上创建免费图片了。现在，Meta的图片生成工具已经让该公司最近陷入了水深火热之中（例如Meta被指提供了有种族偏见的人工智能贴纸生成器），这让人怀疑ImaginewithMeta是否有防止历史重演的保障措施。水印并不是一开始就有的，但Meta承诺将在未来几周内开始为ImaginewithMeta生成的内容添加水印，以"提高透明度和可追溯性"。Meta表示，这些水印是不可见的，将通过人工智能模型生成，并通过相应的模型进行检测。至于检测模型是否会在某个时候公开，目前还没有消息。"[水印]能够抵御常见的图像处理，如裁剪、调整大小、颜色变化（亮度、对比度等）、屏幕截图、图像压缩、噪音、贴纸叠加等，"Meta在帖子中说。"我们的目标是在未来将隐形水印技术应用到我们许多带有人工智能生成图像的产品中。"生成艺术的水印技术并不新鲜。法国初创公司Imatag提供了一种水印工具，声称不会受到调整大小、裁剪、编辑或压缩图像的影响。另一家公司Steg.AI则采用人工智能模型来应用水印，这种水印可以经受大小调整和其他编辑。微软和Google已经采用了基于人工智能的水印标准和技术，而在其他地方，Shutterstock和Midjourney也已经同意了嵌入标记的指导方针，表明其内容是由人工智能生成工具创建的。但是，科技公司面临的压力越来越大，它们必须更清楚地说明作品是由人工智能生成的--特别是考虑到加沙战争中大量的Deepfakes和绕过过滤器的人工智能生成的虐童图片。最近，中国国家互联网信息办公室发布规定，要求人工智能生成器厂商在不影响用户使用的情况下，对生成的内容（包括文本和图片生成器）进行标注。在最近的美国参议院委员会听证会上，参议员KyrstenSinema强调了生成式人工智能透明度的必要性，包括使用水印。...PC版：https://www.cnbeta.com.tw/articles/soft/1402571.htm手机版：https://m.cnbeta.com.tw/view/1402571.htm

设计平台Canva推出文字转图片的AI功能

设计平台Canva推出文字转图片的AI功能Canva提供免费的应用程序，也有具有额外功能的付费版本，它将使其所有用户有能力用该工具每天生成100张图片。加载Canva的文本到图像功能，你会被提示"描述你想看到的图像"，并显示一些样本提示作为灵感（例如，"池塘里的锦鲤鱼的浅色水彩画"）。然后，你可以从各种风格（"照片"、"绘图"、"3D"、"绘画"、"图案"和"概念艺术"）中进行选择，该工具将生成四个图像的网格，供你选择并添加到你的设计帆布中。还有一个选项可以举报含有暴力、裸体、仇恨言论和"有偏见和/或陈规定型"内容的图像。一张文字转图像工具生成四张熊猫骑自行车的图片：一个文本-图像用户界面的截图，让用户可以选择不同的风格：一个用户界面的截图，让你可以选择举报不良图片：Canva的联合创始人兼首席产品官CameronAdams说："我们把这当作我们社区的学习经验，"。"我们热衷于将这项技术展现在他们面前，因为这是一个新兴的领域，它的确切工作方式以及客户将如何与之互动仍在开发之中。"该工具已经被用于一系列的应用。"我最喜欢的一个是学生用它来可视化他们的故事，所以他们会在英语课上写出一个故事，并使用文本到图像来生成一个与该故事相匹配的图像。我们还看到它被用于演示文稿、传单和T恤衫上的图像，他们可以通过Canva打印。"该功能只是文本到图像的人工智能工具接触到越来越多受众的最新例子。特别是StableDiffusion的推出，加速了这些系统的使用，因为它的开源实施允许公司免费将其整合到自己的产品中。文字转图像正迅速成为创意平台的主力，就在上个月，微软推出了自己的文字转图像工具MicrosoftDesigner（由OpenAI的DALL-E系统驱动），作为其Office套件的一部分。这些系统的兴起也引发了一些争议，特别是它们使用受版权保护的图像作为训练数据。许多艺术家发现，他们的作品在未经他们同意的情况下被用于创造这些商业产品，尽管负责的公司和研究人员说使用这些数据是由美国公平使用原则等条款所涵盖的。当被问及这些问题时，Adams说："我认为关于人工智能产品在多大程度上可以被认为是合理使用的问题是合理的，这在世界各地都会有所不同。我们正在密切关注这个问题，但这一切仍是悬而未决的。我们与我们的贡献者社区和我们的用户有很好的关系，我们正在与他们紧密合作，以弄清这些版权问题。我们把图片的所有权交给用户，但我们不主张这些图片的版权可以由这些用户拥有。"亚当斯和Canva的"首席图片和视频专家"BhautikJoshi强调，他们对该工具所做的一个关键补充是增加了过滤器，以阻止用户产生NSFW输出--如果许多用户是学龄儿童，则尤为重要。"Joshi补充说，该公司"非常清楚[输出]可能有问题，这是我们正在积极处理的事情。"...PC版：https://www.cnbeta.com.tw/articles/soft/1332439.htm手机版：https://m.cnbeta.com.tw/view/1332439.htm

OpenAI总裁：GPT-4并不完美但却绝对与众不同

OpenAI总裁：GPT-4并不完美但却绝对与众不同GPT-4在其前身GPT-3的基础上，在许多关键方面进行了改进，例如提供了更多真实的陈述，并允许开发人员更容易控制其风格和行为。从某种意义上说，GPT-4也是多模式的，因为它可以理解图像，能给照片添加注释，甚至详细描述照片中的内容。但GPT-4也有严重的缺陷。就像GPT-3一样，该模型会产生“幻觉”（即模型聚合的文本与源文本无关或不够准确），并会犯下基本的推理错误。OpenAI在自己的博客上举了一个例子，GPT-4将“猫王”埃尔维斯·普雷斯利（ElvisPresley）描述为“演员的儿子”，但实际上他的父母都不是演员。当被要求将GPT-4与GPT-3进行比较时，布罗克曼只给出了四个字回答：与众不同。他解释称：“GPT-4绝对与众不同，尽管它还存在很多问题和错误。但你可以看到其在微积分或法律等学科技能方面的跃升。它在某些领域的表现曾很糟糕，现在却已经达到超越普通人的水准。”测试结果支持了布罗克曼的观点。在高考微积分考试中，GPT-4得4分(满分5分)，GPT-3得1分，介于GPT-3和GPT-4之间的GPT-3.5也得4分。在模拟律师考试中，GPT-4成绩进入了前10%行列，而GPT-3.5的分数在后10%左右徘徊。与此同时，GPT-4更受人关注的地方在于上面提到的多模式。与GPT-3和GPT-3.5不同，它们只能接受文本提示，例如可以要求“写一篇关于长颈鹿的文章”，而GPT-4可以同时接受图像和文本提示来执行某些操作，比如识别在塞伦盖蒂拍摄的长颈鹿图像，并给出基本的内容描述。这是因为GPT-4是针对图像和文本数据进行培训的，而它的前身只针对文本进行了培训。OpenAI表示，培训数据来自“各种合法授权的、公开可用的数据源，其中可能包括公开可用的个人信息”，但当被要求提供细节时，布罗克曼表示拒绝。训练数据以前也曾让OpenAI陷入法律纠纷。GPT-4的图像理解能力给人留下了相当深刻的印象。例如，输入提示“这张图片有什么好笑的？GPT-4会将整张图片分解，并正确地解释了这个笑话的笑点。目前，只有一个合作伙伴可以使用GPT-4的图像分析功能，这是一款针对视障人士的辅助应用程序，名为BeMyEyes。布罗克曼说，在OpenAI评估风险和利弊的过程中，无论何时，更广泛的推广都将是“缓慢而有意的”。他还称：“有些政策问题也需要解决，比如面部识别和如何处理人的图像。我们需要找出危险区域在哪里，红线在哪里，然后随着时间的推移找到解决方案。”OpenAI在其文本到图像转换系统Dall-E2上也遇到了类似伦理困境。在最初禁用该功能后，OpenAI允许客户上传人脸，以使用AI支持的图像生成系统对其进行编辑。当时，OpenAI声称，其安全系统的升级使面部编辑功能成为可能，因为它将深度造假以及试图创造色情、政治和暴力内容的潜在危害降至最低。另一个长期问题是防止GPT-4在无意中被用于可能造成伤害的方式使用。该模型发布几小时后，以色列网络安全初创公司AdversaAI发布了一篇博客文章，演示了绕过OpenAI的内容过滤器并让GPT-4生成钓鱼电子邮件、对同性恋者的攻击性描述以及其他令人反感文本的方法。这在语言模型领域并不是新问题。Facebook母公司Meta的聊天机器人BlenderBot和OpenAI的ChatGPT也曾被诱惑输出不恰当的内容，甚至透露了它们内部工作的敏感细节。但包括记者在内的许多人曾希望，GPT-4可能会在这方面带来重大改进。当被问及GPT-4的健壮性时，布罗克曼强调，该模型已经经过了六个月的安全培训。在内部测试中，它对OpenAI使用政策不允许的内容请求做出响应的可能性比GPT-3.5低82%，产生“事实”响应的可能性比GPT-3.5高40%。布罗克曼说：“我们花了很多时间试图了解GPT-4的能力。我们正在不断更新，包括一系列改进，这样该模型就更具可扩展性，以适应人们希望它拥有的个性或模式。”坦率地说，早期的现实测试结果并不是那么让人满意。除了AdversaAI测试之外，微软的聊天机器人BingChat也被证明非常容易越狱。使用精心设计的输入，用户能够让该聊天机器人表达爱意，发出威胁伤害，为大屠杀辩护，并发明阴谋论。布罗克曼并未否认GPT-4在这方面的不足，但他强调了该模型的新限制工具，包括被称为“系统”消息的API级功能。系统消息本质上是为GPT-4的交互设定基调并建立界限的指令。例如，一条系统消息可能是这样写的：“你是一位总是以苏格拉底风格回答问题的导师。你永远不会给学生答案，而是总是试着问正确的问题，帮助他们学会独立思考。”其思想是，系统消息充当护栏，防止GPT-4偏离轨道。布罗克曼说：“真正弄清楚GPT-4的语气、风格和实质一直是我们非常关注的问题。我认为我们开始更多地了解如何进行工程设计，如何拥有一个可重复的过程，让你得到对人们真正有用的可预测结果。”布罗克曼还提到了Evals，这是OpenAI最新的开源软件框架，用于评估其AI模型的性能，这是OpenAI致力于“增强”其模型的标志。Evals允许用户开发和运行评估模型(如GPT-4)的基准测试，同时检查它们的性能，这是一种众包的模型测试方法。布罗克曼说：“有了Evals，我们可以更好地看到用户关心的用例，并可以对其进行测试。我们之所以开源这个框架，部分原因是我们不再每隔三个月发布一个新模型以不断改进。你不会制造你不能测量的东西，对吧？但随着我们推出新版模型，我们至少可以知道发生了哪些变化。”布罗克曼还被问道，OpenAI是否会补偿人们用Evals测试它的模型？他不愿就此做出承诺，但他确实指出，在有限的时间内，OpenAI允许提出申请的Eevals用户提前访问GPT-4API。布罗克曼还谈到了GPT-4的上下文窗口，该窗口指的是模型在生成额外文本之前可以考虑的文本。OpenAI正在测试一种版本的GPT-4，它可以“记住”大约50页内容，是普通GPT-4“内存”的5倍，是GPT-3的8倍。布罗克曼认为，扩展的上下文窗口会带来新的、以前从未探索过的用例，特别是在企业中。他设想了一款为公司打造的AI聊天机器人，它可以利用来自不同来源(包括各部门员工)的背景和知识，以一种非常内行但具有对话性的方式回答问题。这并不是一个新概念。但布罗克曼认为，GPT-4的答案将比目前其他聊天机器人和搜索引擎提供的答案有用得多。他说：“以前，模型根本不知道你是谁，你对什么感兴趣等。而拥有更大的上下文窗口肯定会让它变得更强，从而大大增强它能为人们提供的支持。”...PC版：https://www.cnbeta.com.tw/articles/soft/1349631.htm手机版：https://m.cnbeta.com.tw/view/1349631.htm