4月26日消息，阿里通义实验室研发的视频生成模型EMO昨天上线通义APP，免费对所有人开放，应用全量开放的瞬间，通义APP一度被

4月26日消息，阿里通义实验室研发的视频生成模型EMO昨天上线通义APP，免费对所有人开放，应用全量开放的瞬间，通义APP一度被挤爆，需要排队数小时。在通义APP的“全民舞台”频道内，用户上传一张肖像照就能让图中人物唱歌说话，嘴型、表情、神态都栩栩如生。EMO自2月底公布模型论文以来在海内外引发广泛关注，外媒将其与OpenAI的Sora模型相提并论，国内外多家科技巨头快速跟进同类模型的研发。据悉，通义实验室已接到大量企业客户的问询，正在加速推进算法迭代和安全策略论证，将尽快开放企业客户合作。（全天候科技）

阿里云通义千问 App 上线“通义舞王”：一张照片就能生成跳舞视频

阿里云旗下的通义千问App近日上线了一项免费的新功能“通义舞王”：用户在按照提示要求上传照片后，经过十几分钟的等待，即可自动生成舞蹈视频。据介绍，该功能背后的算法为阿里通义实验室自研的视频生成模型AnimateAnyone。用户使用人物全身照片生成的舞蹈视频号称能够保留原始形象的面部表情、身材比例、服装乃至背景等特征。当前该功能内置了12种舞蹈模板，包括当前较为热门的“科目三”，还有蒙古舞、划桨舞、鬼步舞等等。via匿名标签:#通义千问频道:@GodlyNews1投稿:@GodlyNewsBot

2月28日，阿里巴巴智能计算研究所发布了一款全新的生成式AI模型EMO（Emote Portrait Alive）。EMO仅需一

2月28日，阿里巴巴智能计算研究所发布了一款全新的生成式AI模型EMO（EmotePortraitAlive）。EMO仅需一张人物肖像照片和音频，就可以让照片中的人物按照音频内容“张嘴”唱歌、说话，且口型基本一致，面部表情和头部姿态非常自然。EMO不仅能够生成唱歌和说话的视频，还能在保持角色身份稳定性的同时，根据输入音频的长度生成不同时长的视频。()https://humanaigc.github.io/emote-portrait-alive/线索：@ZaiHuabot投稿：@TNSubmbot频道：@TestFlightCN

国外爆火emo模型国内上线了，阿里可以让人像照片变成唱歌视频的项目 EMO 终于发布了，体验了一下非常强。

国外爆火emo模型国内上线了，阿里可以让人像照片变成唱歌视频的项目EMO终于发布了，体验了一下非常强。一张简单的照片加上克隆的语音模型，就可以定制自己的数字人出镜。Heygen之类的产品都需要录制一段相当长的视频，并且算力成本也很高，这个直接是免费的。明天开放公测，想要提前体验的同学可以找我要一个内测邀请码。而且不局限于写实的人像，3D模型、二次元漫画都可以生成视频，生成一张自己喜欢的二次元图片然后加上自己的克隆语音就可以当Vtuber了。EMO效果为什么这么自然：通过阅读EMO的论文发现，他们在talkinghead领域首次提出了weakcondition（弱控制）的设计，即剔除掉了任何针对人脸的显示表征建模，转而采用一些相对较弱的控制条件来引导diffusion去噪过程，这一点其实灵感来源于文生图模型中，采用粗粒度的prompt描述来生成图片。他们在算法pipeline中加入了facelocator和speedlayers，分别用来控制人脸的生成区域（人头摆动幅度）与人头的动作频率。通过这些操作，可以最大化地保留diffusion模型强大的生成创造能力，由于没有针对表情的显示表征的限制，所生成的人脸表情都会有较高的丰富度，从而表现力有较大的提升EMO没有针对人脸生成做过多的控制，人物会做什么表情，头部会如何运动，都是由模型从数据中学习到相关的知识决定。表情、口型的一致如何保证：模型会在训练中找到音频特征与图像中像素的对应关系，从而放大音频特征对于这些相关像素的影响，比如嘴部，眉眼等位置的像素，让图像中的人物表情口型与音频特征保持一致。EMO在250小时的人物讲话视频上训练，不仅仅找到了audio中具体发音与人像口型的匹配关系，更重要是发现了音频中的语气特征与人物表情的关联性，从而将音频中的语气特征，甚至暗含的情绪色彩反映到了人物微表情上，它模型在训练中慢慢学习并编码了人类表达情绪的能力。

云从科技：从容大模型支持通过文本和音频生成图像和视频

云从科技：从容大模型支持通过文本和音频生成图像和视频OpenAI的视频生成模型Sora引发关注，云从科技相关负责人表示，云从科技在视觉方面积累较为深厚，目前，从容大模型已实现利用diffusion、GAN等生成式技术围绕人物图像、人物视频数据进行建模，通过文本和音频实现对图像和视频内容进行生成、控制、编辑。应用上，云从科技与天津港、华为等共同开发港口大模型PortGPT，核心是AI智能体天天，通过AI生成交互画面，协同数据分析，提高港口运转效率及安全性。此外，还在文生图像、视频等跨模态领域积极布局，包括发布数字人能力平台，生成AI视频；与中国电信合作AI营销海报生成等。（科创板日报）