为机器人安上“最强大脑” 谷歌VLA新模型泛化能力提升3倍 能“听懂人话”

为机器人安上“最强大脑”谷歌VLA新模型泛化能力提升3倍能“听懂人话”上文这个“抓起恐龙”的动作对于人类而言轻而易举，对于机器人而言却堪称一个重要飞跃——之前机器人经常无法操纵自己从未见过的东西，也难以实现从“灭绝的动物”到“塑料恐龙”的逻辑飞跃。作为一款新型视觉-语言-动作（vision-language-action，VLA）模型，RT-2可以从网络、机器人数据中学习，并将这些知识转化为机器人控制的通用指令。相较于其他机器人研究，RT-2的核心优势在于，其不仅能直接接收“人话”指令，听懂“人话”、理解“人话”，还能做出相应推理，并转为机器人能理解的分阶段指令，从而做出动作完成任务。RT-2完成的每一项任务，都要求其理解视觉语义概念、并通过控制机器人实现操作这些概念。例如接到“捡起桌子上快掉下去的袋子”、“将香蕉移动到2加1的总和处”这种指令时，机器人需要对相应物体/场景执行任务，而这些物体与场景它从未在机器人数据中见过，需要从网络数据中转化得到相应知识。总体而言，RT-2具备三大能力：符号理解（Symbolunderstanding）、推理（Reasoning）和人类识别（Humanrecognition）。（1）符号理解是指RT-2可以从视觉语言预训练中转移了语义知识，而这些语义知识在机器人数据中并不存在。这类指令示例包括“将苹果移到3号位置”或“将可乐罐推到心形上”。图符号理解指令示例（2）推理则是将VLM的各种推理能力用于任务控制，包括视觉推理（“将苹果移到相同颜色的杯子里”）、数学推理（“将X移到2加1之和的附近”）、多语言理解（“muevelamanzanaalvasoverde”，西班牙语）。图推理指令示例（3）人类识别是以人类为中心的理解和识别能力，RT-2可以完成“将可乐罐移到戴眼镜的人身边”这类任务。图人类识别指令示例此外，研究人员还将机器人控制与思维链推理相结合。首先用自然语言描述机器人即将采取的动作的目的，然后是“动作”和动作标记。例如在下图中，RT-2接收到的要求是“我想钉个钉子，场景里什么东西可能能用上？”，RT-2转化得出了“石头。动作：1129138122132132106127”的指令，并拿起了石头。RT-2还能更好地适用于不同的、机器此前没见过的场景。比起在大型数据集上预训练的RT-1、VisualCortex（VC-1）等模型，RT-2泛化能力大幅提高，较前者提高了3倍有余。加利福尼亚大学伯克利分校的机器人学教授KenGoldberg表示，机器人的灵巧性仍达不到人类水平，在一些基本任务上也会失败，但Google利用人工智能语言模型，赋予机器人推理和随机应变的新技能，是一个很有希望的突破。...PC版：https://www.cnbeta.com.tw/articles/soft/1374045.htm手机版：https://m.cnbeta.com.tw/view/1374045.htm

柔软的细管机器人解决了抓取脆弱物体的棘手问题

柔软的细管机器人解决了抓取脆弱物体的棘手问题拥有柔软触觉的人似乎对抓取精致的物体不存在太多问题，但对冷冰冰的机器人来说，这可能是一个艰难的要求。哈佛大学约翰-A-保尔森工程与应用科学学院（SEAS）的研究人员采取了一种以数字为基础的方法，用一个抓手将多个细管卷在一个脆弱的物体上。PC版：https://www.cnbeta.com/articles/soft/1330439.htm手机版：https://m.cnbeta.com/view/1330439.htm

科学家利用机器学习识别数以千计的新宇宙物体

科学家利用机器学习识别数以千计的新宇宙物体天文学正在经历一场变革，因为来自数百万天体的大量天文数据可以轻易获得。这是由于大规模的调查和利用一流的天文观测站的细致观测，再加上开放数据的政策。毋庸置疑，这些数据对于许多发现和对宇宙的新认识具有巨大潜力。然而，手动探索所有这些天体的数据是不现实的，自动机器学习技术对于从这些数据中提取信息至关重要。但这种技术在天文数据中的应用仍然非常有限，而且处于初步阶段。在此背景下，TIFR-IIST团队将机器学习技术应用于美国钱德拉空间观测站在X射线下观测的数十万个宇宙物体。这表明了一种新的和热门的技术进步如何能够帮助和彻底改变基础和基本的科学研究。该小组将这些技术应用于大约277000个释放X射线的物体，其中大部分物体的性质是未知的。对未知物体的性质进行分类，相当于发现特定类别的物体。因此，这项研究让研究人员可靠地发现了成千上万的宇宙天体的类别，如黑洞、中子星、白矮星、恒星等，这为天文学界进一步详细研究许多有趣的新天体提供了巨大的机会。这项合作研究对于建立将新的机器学习技术应用于天文学基础研究的最先进能力也很重要，这对于科学地利用当前和即将到来的观测站的数据至关重要。...PC版：https://www.cnbeta.com.tw/articles/soft/1349399.htm手机版：https://m.cnbeta.com.tw/view/1349399.htm

研究人员设计了一种3D打印的机器人手 可以轻松抓起各类物体

研究人员设计了一种3D打印的机器人手可以轻松抓起各类物体为了解决这个问题，剑桥大学的研究人员创造了一个灵活的、3D打印的机器人手，尽管它的手指不能独立移动，但仍然可以进行一系列复杂的运动。这只机器人手被训练成能够抓住不同的物体，并且能够通过使用放置在其"皮肤"上的传感器所提供的信息来预测它是否会掉落这些物体。这种类型的被动运动使机器人更容易控制，并且比具有完全机动化手指的机器人更节能。研究人员说，他们的适应性设计可用于开发低成本的机器人，这些机器人能够进行更自然的运动，并能学会抓取广泛的物体。这些结果在《高级智能系统》杂志上报告。在自然界中，运动是由大脑和身体之间的相互作用产生的：这使人和动物能够以复杂的方式运动而不消耗不必要的能量。在过去的几年里，由于3D打印技术的进步，软性部件已经开始被整合到机器人设计中，这使得研究人员能够为简单、节能的系统增加复杂性。机器人手只用手腕的动作就能拿起一个桃子大小的物体资料来源：剑桥大学人类的手是高度复杂的，在机器人中重现其所有的灵巧性和适应性是一个巨大的研究挑战。今天的大多数先进机器人都无法完成小孩子可以轻松完成的操纵任务。例如，人类本能地知道在拿起一个鸡蛋时应使用多大的力量，但对机器人来说，这是一个挑战：力量太大，鸡蛋可能会碎掉；力量太小，机器人可能会掉落。此外，一个完全驱动的机器人手，每个手指的每个关节都有电机，需要大量的能量。在剑桥大学工程系的FumiyaIida教授的生物启发机器人实验室，研究人员一直在开发这两个问题的潜在解决方案：一个能够以正确的压力量抓取各种物体的机器人手，同时使用最少的能量。"在早期的实验中，我们的实验室已经表明，仅仅通过移动手腕就有可能在机器人手上获得很大的运动范围，"共同作者托马斯-乔治-图鲁特尔博士说，他现在在伦敦大学学院（UCL）东区工作。"我们想看看基于被动运动的机器人手是否不仅能够抓取物体，而且能够预测它是否会掉落物体，并作出相应的调整。"3D打印的机器手拿筷子研究人员使用了一个植入触觉传感器的3D打印拟人手，以便该手能够感知它所接触的东西。这只手只能够进行被动的、基于手腕的运动。研究小组对这只机器人手进行了1200多次测试，观察其抓取小物体而不掉落的能力。该机器人最初使用3D打印的小塑料球进行训练，并使用通过人类示范获得的预设动作抓取它们。第一作者KieranGilday博士说："这种手有一点弹簧感：它可以自己拿起东西，而不需要手指的任何驱动。触觉传感器让机器人感觉到抓握的情况如何，因此它知道什么时候开始打滑。这有助于它预测事情何时会失败"。机器人利用试验和错误来学习什么样的抓握方式会成功。在完成对球的训练后，它又尝试抓取不同的物体，包括一个桃子、一个电脑鼠标和一卷气泡膜。在这些测试中，这只手能够成功抓取14个物体中的11个。"传感器，有点像机器人的皮肤，测量施加在物体上的压力，"乔治-图鲁特尔说。"我们不能说机器人到底得到了什么信息，但理论上它可以估计出物体被抓在哪里，用了多少力。""机器人学会了一个特定的运动和一组特定的传感器数据的组合将导致失败，这使得它成为一个可定制的解决方案，"Gilday说。"这只手非常简单，但它可以用同样的策略拿起很多物体。""这种设计的最大优势是我们可以在不使用任何执行器的情况下获得的运动范围，我们希望尽可能地简化手部的工作。我们可以在没有任何执行器的情况下获得大量良好的信息和高度的控制，这样，当我们加入执行器时，我们将在一个更有效的包装中获得更复杂的行为。"一个完全驱动的机器人手除了需要大量的能量外，也是一个复杂的控制问题。剑桥大学设计的手的被动设计，使用少量的传感器，更容易控制，提供广泛的运动范围，并简化了学习过程。在未来，该系统可以通过多种方式进行扩展，如增加计算机视觉功能或教机器人利用其环境，这将使其能够抓取更广泛的物体。...PC版：https://www.cnbeta.com.tw/articles/soft/1354847.htm手机版：https://m.cnbeta.com.tw/view/1354847.htm

ZenRobotics制造出精通垃圾分类的机器人

ZenRobotics制造出精通垃圾分类的机器人这种机器人的基本构想是，将它们安装在城市垃圾处理厂、工厂或其他地方的垃圾进料传送带上，形成一个个被称为"单元"的装置。当木头、塑料、金属、玻璃或其他材料制成的物体经过时，机器人的人工智能物体识别系统会识别出每种材料。然后，机器人的抓手就会伸进去，抓住物体，并将其放入指定的垃圾箱。在此之前，只有一个物体识别系统可以单独对一条分拣线上的所有物体进行材料识别。但在ZenRobotics4.0中，每个单元都有自己的紧凑型"ZenBrain"人工智能装置。据该公司称，与前几代产品相比，这一变化将精度和效率提高了60%至100%。希望购买设备的客户可以在重型拾取机4.0和快速拾取机4.0这两种机器人中进行选择。重型拾取机能够分拣每件重达40公斤（88磅）的物品，每小时可拾取2300次。这听起来似乎非常快，但快速拾取器的速度比它更快，每分钟可拾取4800次，但它的最大拾取重量仅为1千克（2.2磅）。ZenRobotics建议，在一个垃圾流中，先用重型拣选机分拣所有重型垃圾，将较小的垃圾留给位于下游的快速拣选机。如果时间紧迫，系统可以设置为首先发现和分拣最有价值的材料，以确保它们不会被遗漏。您可以在下面的视频中看到快速拾取器4.0的运行情况：...PC版：https://www.cnbeta.com.tw/articles/soft/1418623.htm手机版：https://m.cnbeta.com.tw/view/1418623.htm

特斯拉的 Optimus 机器人，现在可以自主地对物体进行分类和排序

特斯拉的Optimus机器人，现在可以自主地对物体进行分类和排序特斯拉的Optimus机器人，现在可以自主地对物体进行分类和排序。它是基于特斯拉的端到端神经网络训练的，直接从视频输入中获取信息，并输出控制指令。这种端到端的训练方法使得Optimus能够直接从视频中学习和理解其环境，而不需要中间的转换或解释步骤。就是机器人看到什么，就知道该怎么做。视频中，机器人成功地将蓝色和绿色的积木块分别放入蓝色和黄色的托盘中。当一个人干预并移动积木块的位置时，机器人能够迅速适应这种变化并继续完成任务。最后，机器人还展示了几个瑜伽姿势，这些姿势与实际工作量没有关系，但显示了机器人在一条腿上平衡和平衡伸展四肢重量的能力。频道：@kejiqu群组：@kejiquchat