Sora证明马斯克的是对的 但特斯拉和人类可能都输了

Sora证明马斯克的是对的但特斯拉和人类可能都输了随后他在X上转发了一条2023年的视频，内容是特斯拉自动驾驶总监AshokElluswamy向外界介绍特斯拉如何用AI模拟真实世界驾驶。视频中，AI同时生成了七个不同角度的驾驶视频，同时只需要输入‘直行’或者‘变道’这样的指令，就能让这七路视频同步变化。当然，这不意味着特斯拉早在一年前就掌握了Sora的技术，毕竟特斯拉的生成技术只用于模拟车辆行驶，而Sora能够处理的环境、场景、Prompt、物理规律等信息更加复杂，二者在难度上不可同日而语。但特斯拉AI和Sora训练的思路是一致的：并不是训练AI如何生成视频，而是训练AI理解和生成一个真实的场景或者世界，视频只是从某一个视角观察这个场景的一段时空。这是两家在现有业务上完全不同的公司，以彼此不同的方法来感知真实世界，而他们共同希望通向的，都是AGI（通用人工智能），甚至更具体一些，就是具身智能和智能体。理解这个观点的核心，是理解OpenAI为Sora赋予的使命，并不只是替代视频生成的创作者，而是将视频生成作为帮助AI理解真实世界的‘模拟器’。如果说特斯拉数以百万计的车辆仍然需要用‘肉身’感受这个世界，那么Sora则是单纯依靠数据的输入，建立起对世界的认知。OpenAI官网上，关于Sora的这篇研究论文名为《把视频生成模型作为世界模拟器》。请注意‘世界模拟器’（worldsimulators）这个关键词，它是比生成视频更关键的核心所在。其实，早在特斯拉发布FSDV12的时候，这家以汽车为主要消费产品的人工智能公司，就已经展示了类似的能力。如何理解呢？首先，在FSDV12上，工程师删除了超过30万行定义驾驶规则的代码，系统将从被‘投喂’的驾驶视频中，学习如何应对真实的驾驶场景，而不是向过往那样，按照写好的规则，在某个特定场景下执行某一个具体的命令。当然，和作为‘生成式模型’的Sora不同，FSD的目标是实现自动驾驶，所以它并不需要真正生成一个具体的视频。你可以想象成一个人（或者智能体）正在进行‘防御性驾驶’，基于过往经验，可以对周围环境中交通参与者的下一步移动趋势做出判断。这个判断存在在头脑里就行了，不需要真正把它画在纸上。因此，特斯拉的FSD也不需要把对未来的想象，生成为一个真实视频，并呈现在车辆的某一个屏幕上。所以，现在有OpenAI和特斯拉两家完全不同的公司，用截然不同的方式和路径，实现‘通过视频生成，让AI理解物理世界’这个相同的目标。简单了解一下Sora的运行逻辑：OpenAI表示，Sora结合了Transformer和Diffusion两个过去几年最重要的模型。ChatGPT、Gemini、LLaMA等语言模式都是基于Transformer模型，它对词语进行标记，并生成下一个单词；Diffusion模型则是‘文生图’的代表。如果从‘理解世界’的角度来审视Sora，那么某一帧图像的画质、画面关系绝不是模型质量高低的评判标准，甚至官网释出的60秒一镜到底视频也不是最核心的部分。重要的是这个生成的视频可以被剪辑——在不同的机位下，无论是广角、中景、近景、特写，视频中人物和背景的关系都保持着高度的‘一致性’。这才是Sora遥遥领先并接近真实的地方。这一点和特斯拉在FSD上采取‘纯视觉’方案可以结合理解。简单来说，99%的车企或者智驾团队都会在车辆上保留激光雷达，通过激光束的发射和接收，辅助计算周围物体和车辆间的距离关系。但马斯克不仅删除了30万行代码，还移除了雷达，只依靠高清摄像头采集和神经网络学习来判断距离关系。无论是对特斯拉，还是对OpenAI，这都是巨大的挑战。毕竟输入的画面是2D的，但输出的结果（无论是驾驶指令还是视频）都需要基于对3D世界的深刻理解。规模和质量是训练模型的核心。特斯拉的数据来源于真实道路上，搭载了传感器的车辆；而OpenAI的大量数据，从目前的公开信息来看，来源于网络。在质量的维度，在《马斯克传》里，作者艾萨克森写道特斯拉通过和Uber合作，获取‘五星司机’的素材训练FSD；而从规模出发，奥特曼最近希望筹集万亿规模的资金，就是重注算力和规模的具体体现。最后，回到一开始的那个问题，为什么我们会认为Sora和FSDv12是相似的？Sora和OpenAI未来的想象空间又是什么呢？它们和AGI又有什么关系？在马斯克看来，当人工智能可以真正解决一个问题（物理、数学、化学等等）的时候，AGI就到来了。不过还有另外一个理解维度，那就是具身智能。毕竟现实世界里，并不是只有数学公式和文字规则，拥有一定的智商的小猫小狗也可以依靠运动真实地和物理世界进行互动。这点对于过去只能输入二维信息的AI来说很难做到。这也是为什么马斯克看到Sora后在X上评价是‘GGHumans’，在他看来Sora今天做到的，已经打破了过去的次元壁，而能理解真实世界并继续学习，AI也就有了更进一步影响真实世界的能力。而就像特斯拉把这种生成能力用于训练车辆，Sora的价值也不仅仅是生成一个难以让人区分真假的视频，用作影视创作者的生产力工具（尽管这是一个非常困难且刚需的场景）。就像周鸿祎所说，‘Sora只是小试牛刀，它展现的不仅仅是一个视频制作的能力，而是大模型对真实世界有了理解和模拟之后，会带来新的成果和突破。’...PC版：https://www.cnbeta.com.tw/articles/soft/1419067.htm手机版：https://m.cnbeta.com.tw/view/1419067.htm