北大发起复现Sora：框架已搭 袁粒、田永鸿领衔 AnimateDiff大神响应

北大发起复现Sora：框架已搭袁粒、田永鸿领衔AnimateDiff大神响应为什么发起这项计划？因为资源有限，团队希望集结开源社区的力量，尽可能完成复现。消息一出，就有人北大校友兼AnimateDiff贡献者等人即刻响应：还有人表示可以提供高质量数据集：所以，“国产版Sora”的新挑战者，就这么来了？计划细节，已完成3个初步功能首先，来看目前公布的技术细节——即团队打算如何复现Sora。整体框架上，它将由三部分组成：VideoVQ-VAEDenoisingDiffusionTransformer（去噪扩散型Transformer）ConditionEncoder（条件编码器）这和Sora技术报告的内容基本差不多。对于Sora视频的可变长宽比，团队通过参考上海AILab刚刚提出的FiT（FlexibleVisionTransformerforDiffusionModel，即“升级版DiT”）实施一种动态掩码策略，从而在并行批量训练的同时保持灵活的长宽比。具体来说,我们将高分辨率视频在保持长宽比的同时下采样至最长边为256像素,然后在右侧和底部用零填充至一致的256x256分辨率。这样便于videovae以批量编码视频,以及便于扩散模型使用注意力掩码对批量潜变量进行去噪。对于可变分辨率，团队则表示在推理过程中，尽管在固定的256x256分辨率上进行训练,，但使用位置插值来实现可变分辨率采样。具体而言：我们将可变分辨率噪声潜变量的位置索引从[0,seq_length-1]下调到[0,255]，以使其与预训练范围对齐。这种调整使得基于注意力的扩散模型能够处理更高分辨率的序列。对于可变时长，则使用VideoGPT中的VideoVQ-VAE,，将视频压缩至潜在空间，支持这一功能。同时，还要在扩展空间位置插值至时空维度，实现对可变时长视频的处理。在此，主页也先给了两个demo，分别是10s视频重建和18s重建，分辨率分别为256x256和196x196：这三个功能都已经初步实现。相关的训练代码也已经在对应的仓库上上线：成员介绍，目前的训练是在8个A100-80G上进行的（明显还远远不够），输入大小为8帧128128，大概需要1周时间才能生成类似ucf（一个视频数据集）的效果。而从目前已经列出的9项todo事项来看，除了可变长宽比、可变分辨率和可变时长，动态掩码输入、在embeddings上添加类条件这两个任务也已完成。未来要做的包括：采样脚本添加位置插值在更高分辨率上微调Video-VQVAE合并SiT纳入更多条件以及最重要的：使用更多数据和更多GPU进行训练袁粒、田永鸿领衔严格来说，OpenSora计划是北大-兔展AIGC联合实验室联合发起的。领衔者之一袁粒，为北大信息工程学院助理教授、博导，去年获得福布斯30岁以下亚洲杰出人物榜单。他分别在中国科学技术大学和新加坡国立大学获得本科和博士学位。研究方向为深度视觉神经网络设计和多模态机器学习，代表性一作论文之一T2T-ViT被引次数1000+。领衔者之二田永鸿，北京大学博雅特聘教授，博士生导师，IEEE、ACM等fellow，兼任鹏城实验室（深圳）人工智能研究中心副主任，曾任中科院计算所助理研究员、美国明尼苏达大学访问教授。从目前公布的团队名单来看，其余成员大部分为硕士生。包括袁粒课题组的林彬，他曾多次以一作或共同一作身份参与了“北大版多模态MoE模型”MoE-LLaVA、Video-LLaVA和多模态对齐框架LanguageBind（入选ICLR2024）等工作。兔展这边，参与者包括兔展智能创始人、董事长兼CEO董少灵（他也是北大校友）。完整名单：谁能率先发布中文版Sora？相比ChatGPT，引爆文生视频赛道的Sora研发难度显然更大。谁能夺得Sora中文版的首发权，目前留给公众的是一个大大的问号。在这之中，传闻最大的是字节。今年2月初，张楠辞去抖音集团CEO一职，转而负责剪映，就引发了外界猜测。很快，一款叫做“Boximator”的视频生成模型浮出水面。它基于PixelDance和ModelScope两个之前的成果上完成训练。不过，很快字节就辟谣这不是“字节版sora”：它的效果离Sora还有很大差距，暂时不具备落地条件，并且至少还需2-3个月才能上线demo给大家测试。但，风声并未就此平息。去年11月，字节剪映悄悄上线了一个AI绘画工具“Dreamina”，大家的评价还不错。现在，又有消息称：Dreamina即将上线类似sora的视频生成功能（目前在内测）。不知道，这一次是不是字节亮出的大招呢？OpenSora项目主页：https://pku-yuangroup.github.io/Open-Sora-Plan/blog_cn.htmlhttps://github.com/PKU-YuanGroup/Open-Sora-Plan...PC版：https://www.cnbeta.com.tw/articles/soft/1422170.htm手机版：https://m.cnbeta.com.tw/view/1422170.htm

重磅： Open AI 正式推出文生视频模型 Sora

重磅：OpenAI正式推出文生视频模型Sora名为Sora视频模型突然降临，OpenAI目前提供的情报，所揭示的一些惊人能力：-Sora根据用户提示可以生成长达一分钟的视频，同时保持视觉质量。（在这部电影预告片的提示词，非常简介：讲述30岁的太空人头戴红色羊毛针织摩托车头盔的冒险故事，蓝天、盐碱沙漠、电影风格、35毫米胶片拍摄、色彩鲜明。）-Sora能够生成包含多个角色、特定运动类型以及主体和背景准确细节的复杂场景。-Sora将理解你。这意味着和Dall·E3有着类似的体验，它具有非凡的语言理解力。-Sora还能理解这些事物在物理世界中是如何存在的；换句话说，Sora理解关于世界如何通过知识和规律进行表征，这可能是重大突破之一。（Hans注，这并不代表它是完美理解世界）-Sora还能在单个生成的视频中创建多个镜头，准确地体现角色和视觉风格。-Sora是一种采取了Transformer架构的扩散模型，不仅能生成还能延长，让模型一次性预测多帧画面，确保主体一致性。-更多官方案例参考https://openai.com/sora安全方面的声明和步骤：OpenA正在与红队人员（错误信息、仇恨内容和偏见等领域的专家）合作，他们将对模型进行对抗性测试。还在开发一些工具来帮助检测误导性内容，例如检测分类器，它可以分辨出视频是由Sora生成的。OpenAI相信，从现实世界的使用中学习，是随着时间的推移创建和发布越来越安全的人工智能系统的重要组成部分。Text2Video的生态位差不多在去年这个时候，Runway所引爆的Text2Video相关的生态位开启了重构好莱坞的想象空间。不到一年Sora的横空出生，其必将带来难以想像的变革力量。这是山峰再一次的快速攀升。从多模态的深远意义来说，我强烈意识到OpenAI描述的野心：「Sora是能够理解和模拟现实世界的模型的基础，我们相信这种能力将是实现AGI的重要里程碑。」Invalidmedia:

揭秘Sora：开发团队成立不到1年 核心技术曾因“缺乏创新”遭拒绝

揭秘Sora：开发团队成立不到1年核心技术曾因“缺乏创新”遭拒绝《每日经济新闻》记者查询这两项技术的原作论文发现，时空Patch的技术论文实际上是由GoogleDeepMind的科学家们于2023年7月发表的。DiT架构技术论文的一作则是Sora团队领导者之一WilliamPeebles，但戏剧性的是，这篇论文曾在2023年的计算机视觉会议上因“缺少创新性”而遭到拒绝，仅仅1年之后，就成为Sora的核心理论之一。如今，Sora团队毫无疑问已经成为世界上最受关注的技术团队。记者查询OpenAI官网发现，Sora团队由Peebles等3人领导，核心成员包括12人，其中有多位华人。值得注意的是，这支团队十分年轻，成立时间还尚未超过1年。核心突破一：时空Patch，站在Google肩膀上此前，OpenAI在X平台上展示了Sora将静态图像转换为动态视频的几个案例，其逼真程度令人惊叹。Sora是如何做到这一点的呢？这就不得不提到该AI视频模型背后的两项核心技术——DiT架构和SpacetimePatch（时空Patch）。据外媒报道，SpacetimePatch是Sora创新的核心之一，该项技术是建立在GoogleDeepMind对NaViT（原生分辨率视觉Transformer）和ViT（视觉Transformer）的早期研究基础上。Patch可以理解为Sora的基本单元，就像GPT-4的基本单元是Token。Token是文字的片段，Patch则是视频的片段。GPT-4被训练以处理一串Token，并预测出下一个Token。Sora遵循相同的逻辑，可以处理一系列的Patch，并预测出序列中的下一个Patch。Sora之所以能实现突破，在于其通过SpacetimePatch将视频视为补丁序列，Sora保持了原始的宽高比和分辨率，类似于NaViT对图像的处理。这对于捕捉视觉数据的真正本质至关重要，使模型能够从更准确的表达中学习，从而赋予Sora近乎完美的准确性。由此，Sora能够有效地处理各种视觉数据，而无需调整大小或填充等预处理步骤。记者注意到，OpenAI发布的Sora技术报告中透露了Sora的主要理论基础，其中Patch的技术论文名为Patchn‘Pack：NaViT，aVisionTransformerforanyAspectRatioandResolution。记者查询预印本网站arxiv后发现，该篇研究论文是由GoogleDeepMind的科学家们于2023年7月发表的。图片来源：arxiv.org图片来源：GoogleScholar核心突破二：扩散型Transformer架构，相关论文曾遭拒绝除此之外，Sora的另一个重大突破是其所使用的架构，传统的文本到视频模型（如Runway、StableDiffusion）通常是扩散模型（DiffusionModel），文本模型例如GPT-4则是Transformer模型，而Sora则采用了DiT架构，融合了前述两者的特性。据报道，传统的扩散模型的训练过程是通过多个步骤逐渐向图片增加噪点，直到图片变成完全无结构的噪点图片，然后在生成图片时，逐步减少噪点，直到还原出一张清晰的图片。Sora采用的架构是通过Transformer的编码器-解码器架构处理包含噪点的输入图像，并在每一步预测出更清晰的图像。DiT架构结合时空Patch，让Sora能够在更多的数据上进行训练，输出质量也得到大幅提高。OpenAI发布的Sora技术报告透露，Sora采用的DiT架构是基于一篇名为Scalablediffusionmodelswithtransformers的学术论文。记者查询预印本网站arxiv后发现，该篇原作论文是2022年12月由伯克利大学研究人员William（Bill）Peebles和纽约大学的一位研究人员SainingXie共同发表。William（Bill）Peebles之后加入了OpenAI，领导Sora技术团队。图片来源：arxiv.org然而，戏剧化的是，Meta的AI科学家YannLeCun在X平台上透露，“这篇论文曾在2023年的计算机视觉会议（CVR2023）上因‘缺少创新性’而遭到拒绝，但在2023年国际计算机视觉会议（ICCV2023）上被接受发表，并且构成了Sora的基础。”图片来源：X平台作为最懂DiT架构的人之一，在Sora发布后，SainingXie在X平台上发表了关于Sora的一些猜想和技术解释，并表示，“Sora确实令人惊叹，它将彻底改变视频生成领域。”“当Bill和我参与DiT项目时，我们并未专注于创新，而是将重点放在了两个方面：简洁性和可扩展性。”他写道。“简洁性代表着灵活性。关于标准的ViT，人们常忽视的一个亮点是，它让模型在处理输入数据时变得更加灵活。例如，在遮蔽自编码器（MAE）中，ViT帮助我们只处理可见的区块，忽略被遮蔽的部分。同样，Sora可以通过在适当大小的网格中排列随机初始化的区块来控制生成视频的尺寸。”图片来源：X平台不过，他认为，关于Sora仍有两个关键点尚未被提及。一是关于训练数据的来源和构建，这意味着数据很可能是Sora成功的关键因素；二是关于（自回归的）长视频生成，Sora的一大突破是能够生成长视频，但OpenAI尚未揭示相关的技术细节。年轻的开发团队：应届博士带队，还有00后随着Sora的爆火，Sora团队也来到世界舞台的中央，引发了持续的关注。记者查询OpenAI官网发现，Sora团队由WilliamPeebles等3人领导，核心成员包括12人。从团队领导和成员的毕业和入职时间来看，这支团队成立的时间较短，尚未超过1年。图片来源：OpenAI官网从年龄上来看，这支团队也非常年轻，两位研究负责人都是在2023年才刚刚博士毕业。William（Bill）Peebles于去年5月毕业，其与SainingXie合著的扩散Transformer论文成为Sora的核心理论基础。TimBrooks于去年1月毕业，是DALL-E3的作者之一，曾在Google和英伟达就职。图片来源：William（Bill）Peebles个人主页团队成员中甚至还有00后。团队中的WillDePue生于2003年，2022年刚从密西根大学计算机系本科毕业，在今年1月加入Sora项目组。图片来源：WillDePue个人主页此外，团队还有几位华人。据媒体报道，LiJing是DALL-E3的共同一作，2014年本科毕业于北京大学物理系，2019年获得MIT物理学博士学位，于2022年加入OpenAI。RickyWang则是今年1月刚刚从Meta跳槽到OpenAI。其余华人员工包括YufeiGuo等尚未有太多公开资料介绍。...PC版：https://www.cnbeta.com.tw/articles/soft/1419009.htm手机版：https://m.cnbeta.com.tw/view/1419009.htm

TencentPretrain：腾讯预训练模型框架

TencentPretrain：腾讯预训练模型框架预训练已经成为人工智能技术的重要组成部分，为大量人工智能相关任务带来了显著提升。TencentPretrain是一个用于对文本、图像、语音等模态数据进行预训练和微调的工具包。TencentPretrain遵循模块化的设计原则。通过模块的组合，用户能迅速精准的复现已有的预训练模型，并利用已有的接口进一步开发更多的预训练模型。通过TencentPretrain，我们建立了一个模型仓库，其中包含不同性质的预训练模型（例如基于不同模态、编码器、目标任务）。用户可以根据具体任务的要求，从中选择合适的预训练模型使用。TencentPretrain继承了的部分工作，并在其基础上进一步开发，形成支持多模态的预训练模型框架。TencentPretrain有如下几方面优势:可复现TencentPretrain已在许多数据集上进行了测试，与原始预训练模型实现（例如BERT、GPT-2、ELMo、T5、CLIP）的表现相匹配模块化TencentPretrain使用解耦的模块化设计框架。框架分成Embedding、Encoder、Target等多个部分。各个部分之间有着清晰的接口并且每个部分包括了丰富的模块。可以对不同模块进行组合，构建出性质不同的预训练模型多模态TencentPretrain支持文本、图像、语音模态的预训练模型，并支持模态之间的翻译、融合等操作模型训练TencentPretrain支持CPU、单机单GPU、单机多GPU、多机多GPU训练模式，并支持使用DeepSpeed优化库进行超大模型训练模型仓库我们维护并持续发布预训练模型。用户可以根据具体任务的要求，从中选择合适的预训练模型使用SOTA结果TencentPretrain支持全面的下游任务，包括文本/图像分类、序列标注、阅读理解、语音识别等，并提供了多个竞赛获胜解决方案预训练相关功能TencentPretrain提供了丰富的预训练相关的功能和优化，包括特征抽取、近义词检索、预训练模型转换、模型集成、文本生成等#框架