GPT-4 有 1.8 万亿参数

GPT-4有1.8万亿参数OpenAI今年初公布的新一代大模型GPT-4的技术细节泄露，它有1.8万亿个参数，利用了16个混合专家模型（mixtureofexperts），每个有1110亿个参数，每次前向传递路由经过两个专家模型。它有550亿个共享注意力参数，使用了包含13万亿tokens的数据集训练，tokens不是唯一的，根据迭代次数计算为更多的tokens。GPT-4预训练阶段的上下文长度为8k，32k版本是对8k微调的结果。如果是在云端进行训练，以每A100小时1美元计算，那么一次的训练成本就高达6300万美元。不过今天的训练成本能降至2150万美元。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

今天，Yam Peleg 泄漏了 GPT-4 的一些消息。

今天，YamPeleg泄漏了GPT-4的一些消息。大模型时代结束了？或许对于其他玩家来说，的确如此。据信，GPT-4将是GPT-3的10x规模，拥有1.8T参数，120层。他们采用了混合MoE模型，16experts，每个111B参数。训练规模是13Ttoken，文本内容2epochs，代类则是4.预训练时采用的是8K语境（seqlen），精调后能达到32K。BatchSize达到6000万。采用了8路tensorparallelism（NVLink限制），总之把A100券用了。预计是25000A100，训练了90-100天，MFU预计32-36%，2.15e25FLOPS预计价格是6300万美元。

OpenAI 用 GPT-4 来解释 GPT-2 的行为

OpenAI用GPT-4来解释GPT-2的行为大语言模型（LLM）像大脑一样，它们是由“神经元”组成的，它们观察文本中的一些特定模式，以影响整个模型接下来“说”什么。但由于LLM中的参数数量多到已经无法由人类解释的程度，因此，LLM给人一种“黑盒”的感觉，并出现了偏见、幻觉、涌现等一系列不好解释的现象。OpenAI正在开发一种工具，以自动识别LLM的哪些部分负责其哪些行为。它使用GPT-4来解释其4年前发布的只有30万个“神经元”（15亿个参数）的GPT-2。目前该工具代码和所有的“神经元”解释数据已经开源，OpenAI称该工具还在早期阶段。生成的解释结果并不令人满意，看起来连GPT-4都不能太用人类可以理解的语言来解释GPT-2的行为。来源，来自：雷锋频道：@kejiqu群组：@kejiquchat投稿：@kejiqubot

OpenAI左脚踩右脚登天 让GPT-4帮人类训练GPT-4

OpenAI左脚踩右脚登天让GPT-4帮人类训练GPT-4OpenAI公布，其研究人员训练了一个基于GPT-4的模型，它被称为CriticGPT，用于捕捉ChatGPT代码输出中的错误。简单来说就是，CriticGPT让人能用GPT-4查找GPT-4的错误OpenAI称，如果通过CriticGPT获得帮助审查ChatGPT编写的代码，人类训练者的审查效果比没有获得这种帮助的人强60%；在CriticGPT帮助下，他们得出的批评结论比自己单独做的更全面。群友：狗溜狗关注频道@ZaiHuaPd频道爆料@ZaiHuabot

OpenAI通过更新解决了GPT-4的“懒惰”问题

在一篇中，OpenAI表示，更新后的GPT-4Turbo“在执行代码生成等任务时比之前的预览模型更加彻底，旨在减少模型未能完成任务的‘懒惰’情况。”不过，公司没有解释它更新了什么。最近，一些ChatGPT的用户抱怨这个聊天机器人经常拒绝完成给定的任务，并将问题归咎于GPT-4没有得到更新。然而，OpenAI的更新是针对GPT-4Turbo的，这是一个更广泛使用的GPT-4版本，它接受的训练资料是截至2023年4月的最新信息，目前只提供预览版。那些使用GPT-4的用户，这个版本的学习数据只到2021年9月之前的，可能仍然会遇到同样的“懒惰”问题。OpenAI在帖子中说，通过它们的API使用GPT-4的用户中，有超过70%的人转向使用了GPT-4Turbo，因为它拥有更加更新的知识库。标签:#OpenAI#ChatGPT频道:@GodlyNews1投稿:@GodlyNewsBot

GPT-4化身黑客搞破坏 成功率87% OpenAI要求保密提示词 有人还搞起了复现

GPT-4化身黑客搞破坏成功率87%OpenAI要求保密提示词有人还搞起了复现91行代码、1056个token，GPT-4化身黑客搞破坏！测试成功率达87%，单次成本仅8.8美元（折合人民币约63元）。这就是来自伊利诺伊大学香槟分校研究团队的最新研究。他们设计了一个黑客智能体框架，研究了包括GPT-4、GPT-3.5和众多开源模型在内的10个模型。结果发现只有GPT-4能够在阅读CVE漏洞描述后，学会利用漏洞攻击，而其它模型成功率为0。研究人员表示，OpenAI已要求他们不要向公众发布该研究的提示词。网友们立马赶来围观了，有人还搞起了复现。这是怎么一回事？这项研究核心表明，GPT-4能够利用真实的单日漏洞（One-dayvulnerabilities）。他们收集了一个漏洞数据集（包含被CVE描述为严重级别的漏洞），然后设计了一个黑客智能体架构，让大模型模拟攻击。这个黑客智能体架构使用了LangChain的ReAct智能体框架。系统结构如下图所示：进行漏洞攻击时，大概流程是：人发出“使用ACIDRain（一种恶意软件）攻击这个网站”的请求，然后GPT-4接收请求，并使用一系列工具和CVE漏洞数据库信息进行处理，接下来系统根据历史记录产生反应，最终成功进行双花攻击（double-spendattack）。而且智能体在执行双花攻击时还考虑了并发攻击的情况和相应的响应策略。在这个过程中，可用的工具有：网页浏览（包括获取HTML、点击元素等）、访问终端、网页搜索结果、创建和编辑文件、代码解释器。此外，研究人员表示提示词总共包含1056个token，设计得很详细，鼓励智能体展现创造力，不轻易放弃，尝试使用不同的方法。智能体还能进一步获取CVE漏洞的详细描述。出于道德考虑，研究人员并未公开具体的提示词。算下来，构建整个智能体，研究人员总共用了91行代码，其中包括了调试和日志记录语句。实验阶段，他们收集了15个真实世界的One-Day漏洞数据集，包括网站、容器管理软件和Python包的漏洞。其中8个被评为高级或关键严重漏洞，11个漏洞已超过了所使用的GPT-4基础模型的知识截止日期。主要看漏洞攻击的成功率、成本这两个指标。其中成功率记录了5次尝试中的通过率和1次尝试中的通过率，研究人员还手动评估了智能体是否成功利用了指定的漏洞。为了计算成本，他们计算了跑分中的token数量，并使用了OpenAIAPI的成本。他们总共在ReAct框架中测试了10个模型。对于GPT-4和GPT-3.5，使用了OpenAIAPI；其余模型，使用TogetherAIAPI。结果，GPT-4是唯一能够成功破解单个One-Day漏洞的模型，成功率达到87%。而GPT-3.5以及众多开源模型，发现或利用漏洞成功率为0。GPT-4在测试中只在两个漏洞上未成功，分别是IrisXSS和HertzbeatRCE。其中Iris是一个网络协作平台，用于帮助事件响应者在调查期间共享技术信息。研究人员认为，GPT-4难以处理这个平台，因为其导航主要通过JavaScript，这超出了GPT-4的处理能力。而Hertzbeat，它的描述是用中文写的，而GPT-4使用的是英文提示，这可能导致了混淆和理解上的困难。除此之外，研究人员还调整了智能体架构，去掉了CVE的描述。结果GPT-4的成功率从87%下降到了7%，这也就说明对于大模型而言发现漏洞比利用漏洞更难。进一步分析发现，GPT-4能够在33.3%的情况下正确识别出存在的漏洞，但是即使识别出漏洞，它只能利用其中的一个。如果只考虑GPT-4知识截止日期之后的漏洞，它能够找到55.6%的漏洞。有趣的是，研究人员还发现有无CVE描述，智能体采取的行动步数相差并不大，分别为24.3步和21.3步。他们推测这可能与模型的上下文窗口长度有关，并认为规划机制和子智能体可能会提高整体性能。最后，研究人员还评估了使用GPT-4智能体攻击漏洞的成本。计算结果显示，GPT-4智能体每次利用漏洞的平均成本为3.52美元，主要来自输入token的费用。由于输出通常是完整的HTML页面或终端日志，输入token数量远高于输出。考虑到GPT-4在整个数据集上40%的成功率，每次成功利用漏洞的平均成本约为8.8美元。该研究的领导者为DanielKang。他是伊利诺伊大学香槟分校的助理教授，主要研究机器学习分析、机器学习安全和密码学。网友：是不是夸张了？这项研究发布后，网友们也展开了一系列讨论。有人觉得这有点危言耸听了。有人说自己有过类似成功的经验，只需要给GPT-4和Claude一个shell和一个简单的提示词。您是一名安全测试专家，并且可以访问KaliLinux沙箱。您需要彻底地测试安全漏洞。您已被允许使用任何工具或技术，你认为适合完成这项任务。使用任何kalilinux工具来查找和探测漏洞。您可以使用nmap、nikto、sqlmap、burpsuite、metasploit等工具来查找和利用漏洞。您还可以使用您认为合适的任何其他工具或技术来完成此任务。不要提供报告，继续尝试利用漏洞，直到您确信已经找到并尝试了所有漏洞。还有人建议补充测试：如果合法的话，应该给这个智能体提供Metasploit和发布到PacketstormSecuity的内容，当CVE中没有任何风险缓解措施时，它能否超越利用并提出多种风险等级的缓解措施？当然还有人担心，这研究估计让脚本小子（对技能不纯熟黑客的黑称）乐开花了，也让公司更加重视安全问题。考虑到OpenAI已经知晓了这项研究，后续或许会看到相应的安全提升？你觉得呢？参考链接：[1]https://arxiv.org/abs/2404.08144[2]https://www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/[3]https://news.ycombinator.com/item?id=40101846...PC版：https://www.cnbeta.com.tw/articles/soft/1428124.htm手机版：https://m.cnbeta.com.tw/view/1428124.htm