谷歌 Gemini 1.5 Pro 锐评 Sora 生成的视频：视觉上很吸引人，但存诸多不合理之处

近日，谷歌的人工智能模型Gemini1.5对OpenAISora生成的一段视频进行了评价，称其在视觉上很吸引人，但一些不合理之处可以看出其不是真实的视频。双方分别发布了各自的最新技术：谷歌推出Gemini1.5Pro，OpenAI则推出了文本转视频工具Sora。Sora的发布时机引发猜测，有人认为OpenAI是为了转移公众对谷歌Gemini1.5的注意力。谷歌一位高管在X平台上分享了对Sora生成视频的详细分析，Gemini1.5Pro以Sora生成的日本一条既有雪景又有樱花盛开的街道视频为例，指出视频存在明显不合理之处。根据Gemini1.5Pro的分析，大雪纷飞和盛开的樱花同时出现并不符合常理，因为樱花通常在春季开放，不会伴有降雪。而且雪的下落方式非常均匀，这不是现实生活中通常的降雪方式。此外，视频中的人物虽然身处大雪环境，却并未穿着任何冬装，这也显得非常违和。Gemini1.5在分析中总结道：“总而言之，这段视频虽然视觉上很吸引人，但其中的矛盾之处表明它并非现实生活中的场景。”Sora是一款能够生成长达60秒视频的文本转视频工具，可以创建包含细节丰富的场景、复杂摄像机运动以及具有丰富情感的多个人物画面，许多人将其称为视频生成领域的“ChatGPT时刻”。而谷歌的Gemini1.5则拥有惊人的100万词条上下文窗口，远超GPT-4Turbo的12.8万和AnthropicClaude2.1的20万。这意味着它可以一次处理大量信息，包括1小时的视频、11小时的音频以及超过30,000行代码或70万字的代码库。via匿名标签:#Google#OpenAI频道:@GodlyNews1投稿:@GodlyNewsBot

Google Gemini 1.5 Pro有一个自我学习的功能：当Gemini 1.5 Pro被给予一个关于Kalamang语言

GoogleGemini1.5Pro有一个自我学习的功能：当Gemini1.5Pro被给予一个关于Kalamang语言（一种全球不到200名说话者的小众语言）的语法手册时，它能够从提供的信息中学习新技能，并且能够执行从英语到Kalamang的翻译任务，其翻译水平与从相同内容学习的人类相似。这一成就凸显了Gemini1.5Pro处理罕见或小众语言的能力，同时也证明了其在理解和应用长篇复杂文本信息方面的强大性能。这种能力对于语言学习、自然语言处理、以及跨文化交流的应用具有重要意义。

Google Gemini 1.5 Pro 现已拥有“听觉”并推出公共预览版

Google对Gemini1.5Pro进行更新，赋予了模型“听觉”能力。现在，该模型可以聆听上传的音频文件，并从中提取信息，例如财报电话会议或视频中的音频，而无需参考文字记录。在GoogleNext大会上，Google还宣布将首次通过其构建AI应用的平台VertexAI向公众开放Gemini1.5Pro。Gemini1.5Pro最初于2月份发布。这个新版本的GeminiPro被认为是Gemini家族中的中量级模型，但在性能方面已经超越了最大、最强大的模型GeminiUltra。Google声称，Gemini1.5Pro可以理解复杂的指令，并且无需微调模型。目前，Gemini1.5Pro仅对拥有VertexAI访问权限的用户开放。大多数人通过Gemini聊天机器人接触到Gemini语言模型。GeminiUltra为GeminiAdvanced聊天机器人提供支持，虽然它功能强大，也能理解长指令，但速度不如Gemini1.5Pro。除了Gemini1.5Pro，Google的其他大型AI模型也获得了更新。Imagen2是支持Gemini图像生成功能的文本到图像生成模型，它将添加修复和扩展功能，允许用户添加或删除图像中的元素。Google还将其SynthID数字水印功能应用于所有通过Imagen模型创建的图片。SynthID在图像上添加了一个对观众不可见的水印，通过检测工具查看时可以标记其来源。Imagen的许多新功能，尤其是修复和扩展功能，已经是其他文本到图像模型的一部分，例如StabilityAI的StableCascade和Getty的GenerativeAIbyiStock，以及在较新的三星Galaxy手机上更广泛的消费者可用性。Google表示，它还公开预览了一种将AI响应与Google搜索结合起来的方式，以便AI能够提供最新的信息。via匿名标签:#Google#Gemini#AI频道:@GodlyNews1投稿:@GodlyNewsBot

中信证券：OpenAI 推出视频生成模型 Sora，AI 产业围绕多模态不断加码

中信证券：OpenAI推出视频生成模型Sora，AI产业围绕多模态不断加码中信证券研报指出，近一周内，OpenAI和谷歌分别推出了他们的最新AI模型，围绕视频多模态这个核心关键点双方不断加码。Gemini1.5Pro基于大语言模型处理视频模态，上下文长度超过百万，Sora在技术上采用了DiffusionTransformer的路线，OpenAI表示Sora在训练过程中表现出了与其他模型不同的涌现能力，有望成为真正的“世界模型”。从投资角度来看，Sora背后的涌现能力为自动驾驶、设计等需要现实世界建模的行业提供了明确方向。Gemini在短期内的部分商业场景表现可能会更为出色，尤其是需要结合图片与文字的多模态应用场景。除去应用端的投资机会，硬件端的需求也必然会随着多模态的技术进步而不断提高，我们仍然持续看好AI算力，尤其是后续商业端成熟而带来的更多AI推理侧算力的机会。

OpenAI的Sora视频生成模型也能用来渲染游戏

OpenAI的Sora视频生成模型也能用来渲染视频游戏这篇题为《作为世界模拟器的视频生成模型》（Videogenerationmodelsasworldsimulators）的论文由多位OpenAI研究人员共同撰写，揭开了Sora架构关键方面的神秘面纱--例如，Sora可以生成任意分辨率和长宽比（最高1080p）的视频。根据论文所述，Sora能够执行一系列图像和视频编辑任务，从创建循环视频、向前或向后延伸视频到更改现有视频的背景。但最吸引笔者的还是Sora"模拟数字世界"的能力，OpenAI的合著者如是说。在一次实验中，OpenAI将Sora放到Minecraft上，让它在控制玩家的同时渲染世界及其动态（包括物理）。Sora在Minecraft中控制一名玩家，并渲染视频游戏世界，请注意，颗粒感是由视频到GIF的转换工具造成的，而不是Sora。图片来源：OpenAIOpenAI那么，Sora是如何做到这一点的呢？正如NVIDIA高级研究员JimFan（通过Quartz）所说，与其说Sora是一个创意引擎，不如说它是一个"数据驱动的物理引擎"。它不仅能生成单张照片或视频，还能确定环境中每个物体的物理特性，并根据这些计算结果渲染照片或视频（或交互式3D世界，视情况而定）。合著者写道："这些功能表明，继续扩展视频模型是开发物理和数字世界以及其中的物体、动物和人的高能力模拟器的一条大有可为的途径。"现在，Sora在视频游戏领域也有其通常的局限性。该模型无法准确模拟玻璃碎裂等基本互动的物理过程。即使在可以建模的互动中，Sora也经常出现不一致的情况，例如在渲染一个人吃汉堡时，却无法渲染汉堡上的咬痕。不过，如果我没看错的话，Sora似乎可以为更逼真（甚至可能是逼真）的程序生成游戏铺平道路。这既令人兴奋，又令人恐惧（考虑到Deepfake的影响）--这也许就是为什么OpenAI选择暂时将Sora关在一个非常有限的访问程序后面的原因。相关文章:OpenAI推出文本到视频人工智能模型SoraOpenAI首个视频生成模型发布能生成长达1分钟的高清视频...PC版：https://www.cnbeta.com.tw/articles/soft/1418461.htm手机版：https://m.cnbeta.com.tw/view/1418461.htm

Google发布Gemini 1.5 Flash人工智能模型 比Gemini Pro更轻便与易于使用

Google发布Gemini1.5Flash人工智能模型比GeminiPro更轻便与易于使用GoogleDeepMind首席执行官德米斯-哈萨比斯（DemisHassabis）在一篇博客文章中写道："[Gemini]1.5Flash擅长摘要、聊天应用、图像和视频字幕、从长文档和表格中提取数据等。"Google之所以创建Gemini1.5Flash，是因为开发人员需要一个比Google今年2月发布的专业版更轻便、更便宜的型号。Gemini1.5Pro比该公司去年底发布的Gemini原型更高效、更强大。Gemini1.5Flash介于Gemini1.5Pro和Gemini1.5Nano之间，是Google在本地设备上运行的最小型号。尽管重量比GeminiPro轻，但功能却同样强大。Google表示，这是通过一个名为"蒸馏"的过程实现的，即把Gemini1.5Pro中最基本的知识和技能转移到更小的型号上。这意味着，Gemini1.5Flash将获得与Pro相同的多模态功能，以及长语境窗口（人工智能模型可一次性摄取的数据量），即一百万个词元。根据Google的说法，这意味着Gemini1.5Flash将能够一次性分析1500页的文档或超过30000行的代码库。Gemini1.5Flash（或这些型号中的任何一款）并非真正面向消费者。相反，它是开发人员利用Google设计的技术构建自己的人工智能产品和服务的一种更快、更便宜的方式。除了推出Gemini1.5Flash之外，Google还对Gemini1.5Pro进行了升级。该公司表示，已经"增强"了该模型编写代码、推理和解析音频与图像的能力。但最大的更新还在后面--Google宣布将在今年晚些时候把该模型现有的上下文窗口增加一倍，达到200万个词元。这将使它能够同时处理两小时的视频、22小时的音频、6万多行代码或140多万字。Gemini1.5Flash和Pro现在都可以在Google的人工智能工作室和顶点人工智能中进行公开预览。该公司今天还发布了新版Gemma开放模型，名为Gemma2。不过，除非你是开发人员或喜欢捣鼓构建人工智能应用程序和服务的人，否则这些更新其实并不适合普通消费者。...PC版：https://www.cnbeta.com.tw/articles/soft/1430899.htm手机版：https://m.cnbeta.com.tw/view/1430899.htm