视觉、语音、文本的高效自监督学习 | Data2vec 2.0

视觉、语音、文本的高效自监督学习导语：人工智能最近的许多突破都是由自我监督学习推动的，它使机器能够在不依赖标记数据的情况下进行学习。但是当前的算法有几个明显的局限性，通常包括专门用于单一模态（例如图像或文本）并且需要大量的计算能力。这与人类学习形成鲜明对比：人们似乎比当前的AI学习效率更高，并且还以类似的方式从不同类型的信息中学习，而不是依赖于文本、语音和其他模式的单独学习机制。今年早些时候，当我们发布data2vec时，MetaAI解决了其中一个限制，data2vec是第一个以相同方式学习三种不同模式（语音、视觉和文本）的高性能自监督算法。Data2vec使得将文本理解等方面的研究进展应用于图像分割或语音翻译任务变得更加容易。今天，我们将分享data2vec2.0，这是一种新算法，它的效率大大提高，并且性能优于其前身的强大性能。它实现了与最流行的现有计算机视觉自监督算法相同的精度，但速度提高了16倍。

LightNet 是一个基于流行的暗网平台的深度学习框架，旨在为计算机视觉任务创建高效、高速的卷积神经网络（CNN）。该框架经过

LightNet是一个基于流行的暗网平台的深度学习框架，旨在为计算机视觉任务创建高效、高速的卷积神经网络（CNN）。该框架经过改进和优化，可为各种深度学习挑战提供更通用、更强大的解决方案。LightNet融合了多项前沿技术和优化来提高CNN模型的性能。主要特点包括：●多任务学习除了暗网中的对象检测之外，LightNet还经过扩展以支持语义分割学习，从而可以对图像内的对象进行更准确、更详细的分割。此功能支持训练CNN模型来识别和分类图像中的各个像素，从而实现更精确的对象检测和场景理解。例如，语义分割可用于识别图像中的各个对象，例如汽车或行人，并用相应的对象类别标记图像中的每个像素。这对于各种应用都很有用，包括自动驾驶和医学图像分析。●2:4结构化稀疏性2:4结构化稀疏技术是一种减少CNN模型参数数量同时保持其性能的新颖方法。这种方法使模型更加高效并且需要更少的计算，从而缩短训练和推理时间。例如，使用2:4结构化稀疏性可以减少CNN模型的内存占用和计算要求，从而更容易部署在手机或嵌入式系统等资源受限的设备上。●通道修剪通道剪枝是一种优化技术，可以减少CNN模型中的通道数量，而不会显着影响其准确性。此方法有助于减小模型大小和计算要求，从而在保持性能的同时缩短训练和推理时间。例如，通道修剪可用于减少CNN模型中的通道数量，以便在低功耗处理器上进行实时处理，同时仍保持高精度。这对于在计算资源有限的设备上部署模型非常有用。●训练后量化（维护中）训练后量化(PTQ)是一种减少训练后CNN模型的内存占用和计算要求的技术。此功能目前正在维护中，将在未来版本中提供。●量化感知训练（未来支持）虽然PTQ被认为足以满足NVIDIAGPU上的LightNet，但对于不支持每通道量化的AI处理器，我们可能会考虑根据需要添加对量化感知训练(QAT)的支持。#框架

研究发现婴儿、儿童和成人的视觉关注重点截然不同

研究发现婴儿、儿童和成人的视觉关注重点截然不同这是国际大学研究人员艾琳-安德森（ErinAnderson）、罗文-坎迪（RowanCandy）、杰森-戈尔德（JasonGold）和琳达-史密斯（LindaSmith）最近在《科学进展》（ScienceAdvances）上发表的一项新研究的发现。首席研究员、心理与脑科学系教授琳达-史密斯（LindaSmith）解释说："每个人在思考经验在视觉发育中的作用时，都会首先假设，在日常经验的范围内，视觉输入对每个人来说都是基本相同的。然而，这项研究表明视觉输入会随着发育而改变。并不是每个人都一样。年幼婴儿的日常生活输入似乎是该年龄段独有的。"为了观察年幼婴儿的所见所闻，史密斯实验室给婴儿戴上了头部摄像头，让他们在家中进行日常生活活动。图片来源：印第安纳大学心理与脑科学系提供之前在实验室和诊所进行的研究表明，幼婴更喜欢看简单、高对比度的大黑条纹和棋盘场景。目前的研究是首次询问这些偏好在多大程度上构成了他们的日常生活输入。安德森曾是史密斯认知发展实验室的博士后研究员，她说，"为了了解幼婴看到了什么，看了什么"，她和同事给婴儿戴上了头戴式摄像机，让他们在家中进行日常生活活动。她解释说："你可以为新生儿购买'婴儿闪卡'，上面会显示这些简单、高对比度的图像。头部摄像头视频所显示的，也就是这项工作所显示的，是年幼的婴儿在日常生活中，仅仅通过观察灯光和天花板角落等事物，就能发现他们周围的这类图像。"琳达-史密斯是印第安纳大学心理与脑科学系的特聘教授。图片来源：印第安纳大学心理与脑科学系提供史密斯补充说："我们发现，视觉发育的早期'饮食'非常特殊。就像食物一样，幼婴并不是从丰富、复杂的饭菜或披萨开始，而是从简单、符合发育特点的营养开始"。以往的研究已经认识到，早期视觉发育对人类未来的视觉发展至关重要。例如，出生时就患有白内障等视觉异常的婴儿，或在孤儿院中视觉经验有限的婴儿，都被证明存在终身的视觉缺陷。目前的研究为解决这些缺陷提供了一些初步数据。它对人工智能视觉系统的形成也有重要意义，因为如果从同样简单、高对比度的视觉内容开始训练，人工智能视觉系统同样能获得更强的视觉技能。为了确定3至13个月大婴儿的视觉输入特性，研究人员在10名婴儿及其10名成年看护人身上安装了头戴式摄像机，收集并分析了70个小时的家庭日常生活视觉记录。婴儿和成人的图像内容出现了明显的差异，婴儿视图中的简单图案和高对比度边缘比成人视图中的更集中。史密斯推断，产生这些观点的原因不仅在于婴儿会转头去看他们能看到的世界的特征，还在于父母或看护人很可能会把他们放在他们喜欢看东西的地方。"你得想想他们为什么会在那里。父母可能隐含着某种自然知识，会把婴儿放在他们喜欢看东西的地方。如果你不大惊小怪，妈妈就不会打扰你。"然而，印第安纳州布卢明顿的这一小部分参与者是否能代表全世界更广泛的婴儿呢？为了回答这个问题，史密斯的实验室与合作者在印度钦奈一个拥挤的小渔村进行了同样的实验。虽然6个月大和12个月大婴儿的头部摄像头拍摄的图像与布卢明顿的婴儿截然不同，但无论是在钦奈还是在布卢明顿，最小的婴儿都有一个共同的"饮食习惯"，那就是高对比度的边缘和简单的图案。史密斯和她的合作者还证明，同样的图像序列可以改善人工智能视觉系统的训练。在发表于《2023年神经信息处理系统会议论文集》上的当前研究的后续研究中，他们发现，如果首先向人工智能系统提供婴儿早期特有的图像来训练它，那么它在学习识别视觉图像方面的成功率要高于向它提供随机发展顺序的图像或仅仅提供成人日常生活中典型的图像。更精确的发展顺序产生的效果最好。他们的工作为进化推测开辟了新的途径。史密斯解释说："我在读研究生时经常问的一个问题是，为什么人类婴儿的运动发育如此缓慢？他们大约有三个月的时间只知道听和看，还有六个月的时间才学会一点姿势和头部控制。"这项研究表明，"随着进化时间的推移，这些缓慢的、渐进的和优化的偏差作用于建立一个非常聪明的视觉和听觉系统，"她说。"这是一个可以讲述的故事"。与此同时，他们的研究提出了新的问题，即婴儿早期的视觉内容及其在人类或人工智能视觉系统发育过程中的作用。编译来源：ScitechDaily...PC版：https://www.cnbeta.com.tw/articles/soft/1430631.htm手机版：https://m.cnbeta.com.tw/view/1430631.htm

Meta的新型AI模型可通过观看视频进行学习 未来还将加入声音数据维度

Meta的新型AI模型可通过观看视频进行学习未来还将加入声音数据维度Meta公司FAIR（基础人工智能研究）小组负责人YannLeCun提出，如果人工智能模型能在视频片段中使用相同的遮蔽技术，它们就能更快地学习。LeCun说："我们的目标是打造先进的机器智能，使其能够像人类一样学习。形成周围世界的内部模型，以便高效地学习、适应和制定计划，为完成复杂任务服务。"LeCun理论的具体体现是一种名为视频联合嵌入预测架构（V-JEPA）的研究模型。它通过处理无标记的视频来进行学习，并推测出在黑屏的几秒钟内，屏幕的某一部分可能发生了什么。需要注意的是，V-JEPA并不是一个生成模型。Meta的研究人员说，V-JEPA在使用视频遮蔽进行预训练后，"擅长检测和理解物体之间高度细致的互动"。这项研究可能会对Meta和更广泛的人工智能生态系统产生重大影响。Meta公司之前在开发增强现实眼镜时曾谈到过"世界模型"。这种眼镜将使用这样一个模型作为人工智能助手的大脑，除其他外，它还能预测向用户展示哪些数字内容，以帮助用户完成工作并获得更多乐趣。该模型从一开始就对眼镜外的世界具有视听理解能力，但随后可以通过设备的摄像头和麦克风快速了解用户世界的独特特征。V-JEPA还可能改变人工智能模型的训练方式。目前的基础模型预训练方法需要大量的时间和计算能力（这对生态环境有影响）。换句话说，目前开发基础模型是富人的专利。有了更高效的训练方法，这种情况就会改变。这符合Meta的战略，即以开源方式发布其大部分研究成果，而不是像OpenAI和其他公司那样将其作为有价值的知识产权加以保护。如果训练成本降低，规模较小的开发者也许就能训练出规模更大、能力更强的模型。LeCun认为，目前的模型通过视觉和听觉进行学习，这正在减缓向人工通用智能（通常需要比人类更聪明）发展的速度。在V-JEPA之后，Meta的下一步计划是在视频中加入音频，这将为模型提供一个全新的学习数据维度，这就像一个孩子在观看静音电视时将声音调大一样。孩子们不仅能看到物体的移动，还能听到人们谈论物体的声音。Meta公司表示，它将以知识共享（CreativeCommons）非商业许可的方式发布V-JEPA模型，这样研究人员就可以对其进行实验，或许还能扩展其功能。...PC版：https://www.cnbeta.com.tw/articles/soft/1418465.htm手机版：https://m.cnbeta.com.tw/view/1418465.htm

在B站 每天都十多万人在学习流浪汉的生存技巧

在B站每天都十多万人在学习流浪汉的生存技巧他的视频，不少读者可能都有刷到过。因为前阵子他的一个教人住烂尾楼的视频还出了圈。介绍到兴头上，小黑胖还拉了把椅子让我陪他一起观摩杀心老师现场教人捡垃圾。说实话，我本是想拒绝的...毕竟才吃过饭，这口味上的切换，还是突兀了。然而实在架不住小黑胖的热情（因为他拽着我的裤带）。这个捡垃圾的视频，也就不到4分钟，我心想忍一忍就完事了。然而我错了……等我回过神来，已经坐在自己的工位上，刷了一下午杀心老师的流浪视频……杀心老师的视频是真的上头啊。小手这么一点，时间便刷地一下消失了...堪称时光穿梭机。所以在悼念那逝去的4个半钟头的同时，差评君不禁思考起一个与之相关的问题——为啥杀心老师的视频会如此上头呢？首先，我觉得一个很重要的原因是：他真的肯教！杀心老师的B站共上传了216个视频。里面的内容，可以说是涵盖了流浪汉生活的方方面面，你想得到以及想不到的，杀心老师全都毫无保留地传授给你。基本的生存指南自不必说。从手机怎么充电，到高效劈木材的方法，他都给你做了详尽的指点和介绍。而且时不时，还能看到杀心老师给你露上一手流浪汉的美食群像。更绝的是，杀心老师在手把手教你如何照顾物质需求的同时，还不忘顾及你的情感需求！深夜人静之时，对着篝火，娓娓道出自己惊艳之谈。事实上杀心老师也确实有位女朋友，感兴趣的朋友可自行搜索，我就不剧透了...反正网友们还是言不由衷地送上了美好祝福。除了全面之外，杀心老师的视频，还有一个特点，就是——细致入微。比如在讲开宝箱（捡垃圾）的这期视频里，杀心老师不仅从战略的层面解释了什么叫避实击虚。还从战术的角度给你讲解了开宝箱时，安全的重要性！而且他还把视频里的那些最实用的生存技巧，整理成了一篇文章，用以帮助因特殊困难，不得不流浪的朋友。但我最喜欢杀心老师的一点，是他的教学视频里还透露着一股其他流浪汉视频博主所没有的唯物主义精神。举个例子。假如某天夜深人静之时，你误入荒郊野岭，迫不得已必须得住在一栋废弃已久、墙面斑驳的烂尾楼里，你觉得你最该害怕的应该是啥？是鬼对吧？但杀心老师却在他那个出圈的烂尾楼视频里反复强调：其实最应该害怕的，是在烂尾楼里遇到其他人。因为……而且他在告诫大家晚上住烂尾楼，千万不要到处乱窜的原因时，并不是担心大家会看到什么奇奇怪怪的东西。而是担心你可能会踩中烂尾楼里的那些暗坑……总之呢，杀心老师这200多个视频可以说是在你面前展现了一个多面而丰富的流浪汉宇宙。我们不仅能从中一瞥流浪汉生活的艰辛与挑战，更能感受到他们的欢笑与泪水，忧愁与喜悦，血与汗交织而成的百态。但差评君我看完这些视频后，除了上述那些复杂的情感外，还察觉到一种莫名突兀的感受——安心。之所以会产生这种感觉，大概是因为——我TM再也不怕沦为流浪汉了！说句实在话，这年头社会上的挑战是越来越多了。不说别的，就上个星期那堆密密麻麻的AI，搞得各行各业的人都在焦虑。随便刷刷每天早上的新闻，都会感觉马上要变天了，难免要担心自己会被AI取代。而且，这只是现代社会里，千千万万个问题中的一个。我们为啥会这样焦虑呢？说到底还是看不清未来。这种焦虑就像团迷雾，笼罩着我们的大脑。而这团被脑补出来的迷雾里，又时不时会出现一些可怕的幻想，试图击溃我们。说白了，其实就是自己吓自己。但现在好了，杀心老师哐哐地用他的那些视频砸向我们：你最担心的流浪生活就是这样了，看到没？于是迷雾被驱散，最担心的结局显现出来后。你才发现……原来流浪汉也没有想象的那样是个绝境啊喂！且不说学习杀心老师拍个短视频、写写生活感悟什么的，就是看他烤只鸡，也能知道流浪汉也并不都是食不果腹，起码也是能整点物质上享受对吧？不然俞老师怎么也想着要下辈子当流浪汉呢？而另一方面嘛，就是你看清楚将来可能遇到的情况后（只是可能啊！），大脑便能从焦虑中解放出来，好去想解决办法，来避免陷入到那种情况中。其实类似的故事并不新鲜。以前有个哲学家的朋友被官司缠上了，整天担心受怕。但这个哲学家提出了个看起来毫不相干的提议：“找个破屋住几天呗，然后只靠雨水和馊掉的面包充饥。回来之后，你就不怕了。”对了，最后差点忘说了。杀心老师的名字里，虽然带个“杀”字，但骨子里还是很温柔的一个人呐。撰文：发少之人编辑：莽山烙铁头&面线图片、资料来源：B站：杀心成焚酱微博：杀心成焚-...PC版：https://www.cnbeta.com.tw/articles/soft/1350431.htm手机版：https://m.cnbeta.com.tw/view/1350431.htm