微软开源 Visual ChatGPT

OpenAI的ChatGPT（GPT3版本）是基于大语言模型，专门训练以文本形式的对话与用户互动。它不是基于多模态模型，不支持图像或语音的输入输出。如果我们想要构建一个类似ChatGPT的支持图像理解和生成的系统，那么可能需要使用一个多模态会话模型进行训练。但此类的训练需要消耗大量的数据和算力资源。与此从头开始构建一个全新的系统，不如站在巨人的肩膀上。微软亚洲研究院的研究人员在预印本网站arxiv上发表论文《VisualChatGPT:Talking,DrawingandEditingwithVisualFoundationModels》，提出在ChatGPT 和多个VisualFoundationModels基础上构建VisualChatGPT。源代码托管在GitHub上。投稿：@ZaiHuabot频道：@TestFlightCN

作为当下最受欢迎的开源 AI 大模型解决方案，GitHub 上一个开源项目 Colossal-AI 建立了一整套完整的 RLHF

作为当下最受欢迎的开源AI大模型解决方案，GitHub上一个开源项目Colossal-AI建立了一整套完整的RLHF流程，包括：监督数据集收集->监督微调->奖励模型训练->强化学习微调。并且，技术团队以LLaMA为基础预训练模型，正式推出了ColossalChat，这也是目前最接近ChatGPT原始技术方案的实用开源项目。该项目包括但不限于以下功能：-Demo：可直接在线体验模型效果，无需注册或waitinglist；-训练代码：开源完整RLHF训练代码，已开源至含7B和13B两种模型；-数据集：开源104K中、英双语数据集；-推理部署：4bit量化推理70亿参数模型仅需4GB显存；-模型权重：仅需单台服务器少量算力即可快速复现；-更大规模模型、数据集、其他优化等将保持高速迭代添加。目前，相关代码已开源至GitHub，感兴趣的同学可以看下。项目还有提供完整的中文教程，进一步降低学习门槛，让大家能更快上手开发。

一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数

一个开源的、支持中英双语的对话语言模型，基于GeneralLanguageModel(GLM)架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGPT相似的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。

微软开源的一个文本编码器Glyph-ByT5-v2。

微软开源的一个文本编码器Glyph-ByT5-v2。支持使用十多种语言生成图片。还搭配了一个使用这个文本编码器的SDXL模型，可以直接生成中文海报和内容。从演示来看排版都挺好的。1)创建了一个高质量的多语言字形文本和图形设计数据集，包含超过100万个字形文本对和1000万个图形设计图像文本对，覆盖另外九种语言；2)构建了一个多语言视觉段落基准数据集，包括1000个提示，每种语言100个，用于评估多语言视觉拼写准确性；3)采用最新的步进感知偏好学习方法，提高了视觉美学质量。模型下载：https://huggingface.co/GlyphByT5/Glyph-SDXL-v2

ChatGPT运行每天或花费70万美元 微软开发自主芯片尝试降低成本

ChatGPT运行每天或花费70万美元微软开发自主芯片尝试降低成本帕特尔指出，ChatGPT需要庞大的算力，才能基于用户的输入信息做出反馈，包括撰写求职信、生成教学计划，以及帮助用户优化个人资料等。他表示：“大部分成本都来自于昂贵的服务器。”此外，帕特尔最初的估计基于OpenAI的GPT-3模型，而在采用最新的GPT-4模型之后，ChatGPT现在的运行成本可能更高。对此，OpenAI尚未对此做出回应。帕特尔和SemiAnalysis的另一位分析师阿夫扎尔·艾哈迈德（AfzalAhmad）表示，此前外界已经注意到，训练ChatGPT背后的大语言模型可能要花费上亿美元，但运营费用，或者说人工智能推理的成本，以任何合理的部署规模来看都远远超过了训练成本。他们指出：“事实上，按周来看，ChatGPT的推理成本超过了训练成本。”过去几年，使用OpenAI语言模型的公司也一直在承担高昂的价格。创业公司Latitude开发了一款基于用户输入信息生成故事情节的人工智能地下城游戏。该公司首席执行官尼克·沃尔顿（NickWalton）表示，运行该模型，以及相应的购买亚马逊AWS云服务器的费用2021年达到每月20万美元。因此，沃尔顿最终决定改用AI21Labs支持的语言软件提供商。这帮助他将公司的人工智能成本降低了一半，至每月10万美元。沃尔顿在接受采访时表示：“我们会开玩笑说，我们有人类员工和人工智能员工，在这两类员工身上花费的成本大致相同。我们每个月在人工智能上花掉数十万美元，而且我们也不是一家大型初创公司，所以这是一笔巨大的开支。”近期有报道称，为了降低生成式人工智能模型的运行成本，微软正在开发一款代号为“雅典娜”的人工智能芯片。该项目于2019年启动。在此几年前，微软与OpenAI达成了10亿美元的投资协议，要求OpenAI仅在微软的Azure云服务器上运行其模型。微软启动这一芯片项目的背后有两方面思考。知情人士透露，微软高管意识到，他们在自主芯片开发方面落后于谷歌和亚马逊。与此同时，微软正在寻找更便宜的方案去替代英伟达的GPU芯片。目前，微软大约有300多名员工正在开发这款芯片。消息人士称，该芯片最早可能在明年发布，供微软和OpenAI内部使用。微软拒绝对此消息置评。...PC版：https://www.cnbeta.com.tw/articles/soft/1355963.htm手机版：https://m.cnbeta.com.tw/view/1355963.htm

LAION发布世界最大ChatGPT开源平替——OpenAssistant

LAION发布世界最大ChatGPT开源平替——OpenAssistantOpenAssistant是一个开源的对话模型，支持35种语言，且是目前已开源最大规模的对话模型，其基于Pythia和LLaMA微调而来，主要用于训练人类标注的数据。OpenAssistantConversations数据集是通过13000多名志愿者的众包努力综合而来的。这一数据集中最常用语言的占比，英语和西班牙语占比最多。中文2.5%。该项目代码以Python编写，并在Apache2.0许可下发布。频道：@TestFlightCN