全息图技术迎来突破 - 深度学习用二维照片生成三维图像

全息图技术迎来突破-深度学习用二维照片生成三维图像研究人员提出了一种利用深度学习从二维彩色图像创建三维全息图的新方法。全息图提供了物体的三维(3D)视图,其细节程度是二维(2D)图像无法比拟的。三维物体逼真、身临其境的显示效果使全息图在医疗成像、制造和虚拟现实等各个领域都具有难以置信的价值。传统的全息技术需要记录物体的三维数据及其与光的相互作用,这一过程需要很高的计算能力,并需要使用专门的相机来捕捉三维图像。这种复杂性限制了全息图的广泛应用。近来,许多用于生成全息图的深度学习方法也被提出。它们可以直接从使用RGB-D相机捕获的三维数据中生成全息图,该相机可以捕获物体的颜色和深度信息。这种方法规避了与传统方法相关的许多计算挑战,是一种更容易生成全息图的方法。用新方法革新全息技术现在,千叶大学研究生院工程学研究科的下场友吉教授领导的研究团队提出了一种基于深度学习的新方法,它可以直接从使用普通相机捕捉的常规2D彩色图像生成3D图像,从而进一步简化全息图生成过程。千叶大学工程学研究生院的石井义之和伊藤友义也参与了这项研究,研究成果最近发表在《工程学中的光学与激光》(OpticsandLasersinEngineering)杂志上。下场教授在解释这项研究背后的原因时说:"在实现全息显示的过程中存在几个问题,包括三维数据的获取、全息图的计算成本,以及如何转换全息图像以符合全息显示设备的特性。我们之所以开展这项研究,是因为我们相信深度学习近年来发展迅速,有可能解决这些问题。"三阶段深度学习过程所提出的方法采用了三个深度神经网络(DNN),将常规的二维彩色图像转换成可用于将三维场景或物体显示为全息图的数据。第一个DNN使用普通相机拍摄的彩色图像作为输入,然后预测相关的深度图,提供有关图像三维结构的信息。然后,第二个DNN利用第一个DNN创建的原始RGB图像和深度图生成全息图。最后,第三个DNN会完善第二个DNN生成的全息图,使其适合在不同设备上显示。研究人员发现,所提出的方法处理数据和生成全息图所需的时间优于最先进的图形处理单元。"我们的方法另一个值得注意的优点是,最终全息图的再现图像可以代表自然的三维再现图像。此外,由于在全息图生成过程中不使用深度信息,因此这种方法成本低廉,而且在训练后不需要RGB-D摄像机等三维成像设备,"下场教授在进一步讨论结果时补充道。未来应用和结论在不久的将来,这种方法可能会应用于平视显示器和头戴式显示器,以生成高保真三维显示器。同样,它还能彻底改变车载全息平视显示器的生成,使其能够以三维方式向乘客展示有关人员、道路和标志的必要信息。因此,所提出的方法有望为促进无处不在的全息技术的发展铺平道路。为研究团队取得的这一杰出成就点赞!...PC版:https://www.cnbeta.com.tw/articles/soft/1391389.htm手机版:https://m.cnbeta.com.tw/view/1391389.htm

相关推荐

封面图片

克服两个长期存在的瓶颈 新进展为更真实的3D全息图铺平道路

克服两个长期存在的瓶颈新进展为更真实的3D全息图铺平道路"三维全息图可以呈现具有连续和精细特征的真实三维场景,"领导中国科技大学研究团队的龚磊说。"对于虚拟现实,我们的方法可以与基于头盔的全息显示器一起使用,以大大改善视角,这将增强3D观看体验。它还可以在不需要头盔的情况下提供更好的3D视觉效果"。创建一个逼真的全息显示器需要将高分辨率的图像投射到紧密排列的多层上,这个过程产生了高深度的分辨率,这对于提供全息图看起来是三维的必要深度感知是至关重要的。新的三维散射辅助动态全息方法通过将高分辨率的图像投射到间隔紧密的平面上(a)来创建数字全息图,实现了比传统全息技术更真实的表现(b)。资料来源:中国科学技术大学,龚磊在Optica出版集团的高影响力研究杂志《Optica》上,龚磊的团队和新加坡国立大学邱成伟的研究团队描述了他们的新方法,称为三维散射辅助动态全息技术(3D-SDH)。他们表明,它可以实现比最先进的多平面全息投影方法大三个数量级以上的深度分辨率。"我们的新方法克服了当前数字全息技术中长期存在的两个瓶颈--低轴向分辨率和高平面间串扰--它们阻碍了全息图的精细深度控制,从而限制了三维显示的质量,"龚说。"我们的方法还可以通过允许在全息图中加密更多的数据来改进基于全息图的光学加密。"创建动态全息投影通常涉及使用空间光调制器(SLM)来调制光束的强度和/或相位。然而,今天的全息图在质量上是有限的,因为目前的SLM技术只允许将一些低分辨率的图像投射到具有低深度分辨率的独立平面。为了克服这个问题,研究人员将一个SLM与一个扩散器结合起来,使多个图像平面以更小的数量分开,而不受SLM特性的限制。通过抑制平面之间的串扰,利用光的散射和波前整形,这个装置可以实现超高密度的三维全息投影。研究人员用他们的新方法模拟了火箭的全息表现[图示为(a),点云模型为(b)]。由基于随机矢量的计算机生成全息(RV-CGH)方法投影的三维火箭的体积渲染图像显示在(c)中,使用的是单个1000×1000像素的全息图。三维投影由32幅图像表示,深度间隔为3.75毫米。3D-SDH投影的物体的体积渲染图像显示在(d)中。125个均匀距离为0.96毫米的图像平面同时从一个1000×1000像素的全息图上投影出来。(e-g)中显示了具有不同视角的模拟三维火箭的体积渲染图像。为了测试这种新方法,研究人员首先用模拟显示,它可以产生每个平面之间深度间隔更小的三维重建。例如,他们能够在一张1000×1000像素的全息图中以0.96毫米的深度间隔投射出125个连续图像平面的三维火箭模型,而使用最近开发的另一种被称为基于随机矢量的计算机生成全息术的方法,则有32个图像平面,深度间隔为3.75毫米。为了在实验中验证这一概念,他们建立了一个3D-SDH原型投影仪来创建动态3D投影,并将其与传统的最先进的3D菲涅尔计算机生成全息术设置进行了比较。他们表明,3D-SDH在轴向分辨率上比传统的对应设备提高了三个数量级以上。研究人员展示的3D全息图都是点云式3D图像,这意味着它们不能呈现3D物体的实体。最终,研究人员希望能够用全息图投射出三维物体的集合,这将需要更高像素的全息图和新算法。...PC版:https://www.cnbeta.com.tw/articles/soft/1353583.htm手机版:https://m.cnbeta.com.tw/view/1353583.htm

封面图片

东京大学研究人员的新算法让iPhone变成全息投影仪

东京大学研究人员的新算法让iPhone变成全息投影仪东京大学的一个研究小组介绍了一种利用智能手机生成全息图像的实用、经济高效的方法,旨在简化和增强虚拟现实和增强现实的3D显示效果,同时避免激光系统的缺点。无论增强现实和虚拟现实显示器是用于游戏、教育还是其他应用,结合3D显示器都能创造出更加逼真和互动的用户体验。来自日本东京大学的研究小组组长RyoichiHorisaki说:"尽管全息技术可以创建出非常逼真的物体3D呈现,但传统方法并不实用,因为它们依赖于激光源。激光发出的相干光易于控制,但却使系统变得复杂、昂贵,而且有可能对眼睛造成伤害。"在Optica出版集团的《光学快报》(OpticsLetters)杂志上,研究人员介绍了他们基于计算机生成全息技术(CGH)的新方法。得益于他们开发的一种新算法,他们只需使用一部iPhone和一种名为空间光调制器的光学元件,就能再现由两个全息层组成的三维彩色图像。研究人员开发出一种三维全彩显示方法,利用智能手机屏幕而不是激光来创建全息图像。图为他们的实验结果,其中可以观察到从第一层到第二层的连续过渡。图片来源:东京大学RyoichiHorisaki"我们相信,在未来的视觉界面和3D显示应用中,这种方法最终将有助于最大限度地减少光学元件、降低成本和减少对眼睛的潜在伤害,"论文第一作者OtoyaShigematsu说。"更具体地说,它有可能提高近眼显示器的性能,比如高端VR头显中使用的近眼显示器。"更实用的方法虽然CGH使用算法生成图像,但通常需要激光发出的相干光来显示这些全息图像。在之前的一项研究中,研究人员发现,白色芯片板发光二极管发出的时空非相干光可用于CGH。然而,这种装置需要两个空间光调制器--控制光波面的设备--由于价格昂贵而不切实际。在这项新研究中,研究人员开发出了一种成本更低、更实用的非相干CGH方法。Horisaki说:"这项工作与我们实验室对计算成像的关注不谋而合,计算成像是一个致力于通过将光学与信息科学相结合来创新光学成像系统的研究领域。我们致力于最大限度地减少光学元件,消除传统光学系统中不切实际的要求。"图为第一作者重松大弥在实验室中使用的光学实验装置。资料来源:RyoichiHorisaki,东京大学新方法通过空间光调制器传递来自屏幕的光线,从而呈现多层次的全彩三维图像。虽然这看似简单,但却需要对屏幕的非相干光传播过程进行仔细建模,然后利用这些信息开发出一种新算法,将来自设备屏幕的光线与单个空间光调制器协调起来。重松说:"使用低相干光的全息显示器可以实现逼真的三维显示,同时有可能降低成本和复杂性。尽管包括我们在内的几个小组已经展示了使用低相干光的全息显示器,但我们通过使用智能手机显示器将这一概念发挥到了极致。"为了演示这种新方法,研究人员在iPhone14Pro的屏幕上显示了一层全息图像,并在空间光调制器上显示了第二层全息图像,从而制作出了双层光学再现全彩3D图像。生成的图像每边的尺寸为几毫米。研究人员目前正在努力改进这项技术,使其能够显示更大、层次更多的3D图像。更多层次可以提高空间分辨率,使物体在不同深度或距离观看者更远的地方出现,从而使图像看起来更逼真。...PC版:https://www.cnbeta.com.tw/articles/soft/1427110.htm手机版:https://m.cnbeta.com.tw/view/1427110.htm

封面图片

打破全息术的障碍:革命性的超材料扩展了光谱的可能性

打破全息术的障碍:革命性的超材料扩展了光谱的可能性研究人员开发了一种在可见光和紫外光谱区域生成元全息图的方法,克服了先前的限制。他们还设计了一种方法,利用偏振特性和液晶,将两个不同的全息相位分布编码到单个超表面上,从而在安全技术中产生潜在的应用。图片来源:纳米视野尽管如此,值得注意的是,超表面具有固有的局限性,例如其存储信息的能力有限以及仅在可见光谱内生成全息图的能力。由浦项科技大学(POSTECH)机械工程系和化学工程系的JunsukRho教授以及机械工程系的JoohoonKim组成的研究小组已经实现了适用于这两种材料的元全息图的生成。可见光和紫外光谱区。(左)当不施加电场时,液晶单元线性排列,导致光线顺时针旋转。相反,当施加电场时,液晶单元的排列变得非线性,导致光沿不同方向旋转。(右)新方法通过设计对光的方向做出响应来促进生成两个不同的全息图。图片来源:浦项科技大学该研究成果发表在国际知名期刊《NanoscaleHorizons》的封面内页上。全息图生成仅限于可见光谱范围,主要归因于大多数物体在紫外线范围内表现出的光吸收。然而,研究团队通过在超表面中加入一层特殊配方的气体成分薄层,有效地解决了这一挑战,从而在可见光和紫外线区域内实现了全息传输效率的显着提高。此外,该团队还完成了将两个不同的全息相位分布编码到单个超表面上。光的偏振特性控制其在空间中的传播。利用这种现象,该团队的方法能够为顺时针圆偏振光和逆时针圆偏振光提供全息信息,有效地将编码到超表面上的信息量增加一倍。为了便于实际实施,该团队采用了液晶(手机和液晶显示器中常用的组件),可以方便地操纵光的旋转方向。实验结果表明,在没有电场的情况下,光呈现顺时针旋转,从而产生A型全息图。相反,施加电场会引起不同的光旋转方向,从而生成B型全息图。本质上,研究团队设计了一种能够根据电场存在与否呈现不同全息图的设备。领导这项研究的JunsukRho教授强调了这一突破,他评论道:“这项研究的意义重大,因为它克服了仅适用于可见光区域的元全息图的局限性,并且我们已经实现了在两种情况下同时生成元全息图。”可见光和紫外光域。”他补充说:“这种提出的超表面在防伪措施、身份识别和护照等安全技术方面具有广阔的应用前景。”...PC版:https://www.cnbeta.com.tw/articles/soft/1366981.htm手机版:https://m.cnbeta.com.tw/view/1366981.htm

封面图片

斯坦福科学家开发出革命性的AR头戴设备 全息技术让普通眼镜展示3D仙境

斯坦福科学家开发出革命性的AR头戴设备全息技术让普通眼镜展示3D仙境通过全息技术和人工智能,这些眼镜可以在直接观看真实世界的基础上显示全彩3D移动图像。图片来源:安德鲁-布罗德海德电子工程系副教授、快速崛起的空间计算领域专家戈登-韦茨坦(GordonWetzstein)说:"我们的头显在外界看来就像一副日常佩戴的眼镜,但佩戴者透过镜片看到的是一个丰富的世界,上面叠加着生动的全彩三维计算图像。"韦茨坦和一个工程师团队在《自然》杂志上发表的一篇新论文中介绍了他们的设备。他们说,虽然这种技术现在只是一个原型,但它可以改变从游戏和娱乐到培训和教育等领域--在任何地方,计算机图像都可以增强或告知佩戴者对周围世界的了解。韦茨坦领导的斯坦福计算成像实验室的博士生、该论文的共同第一作者马努-戈帕库马尔(ManuGopakumar)说:"我们可以想象,外科医生戴着这样的眼镜来规划精细或复杂的手术,或者飞机机械师戴着这样的眼镜来学习如何操作最新的喷气发动机。"这种新方法首次将复杂的工程要求串联起来,迄今为止,这些要求要么导致头戴式头显不美观,要么导致3D视觉体验不令人满意,佩戴者会感到视觉疲劳,有时甚至有点恶心。斯坦福大学计算成像实验室博士后研究员、论文共同第一作者Gun-YealLee说:"目前还没有其他增强现实系统能与我们的三维图像质量相媲美。"为了取得成功,研究人员结合人工智能增强全息成像和新型纳米光子设备方法,克服了各种技术障碍。第一个障碍是,显示增强现实图像的技术通常需要使用复杂的光学系统。在这些系统中,用户实际上无法通过头显镜头看到真实世界。相反,安装在头显外部的摄像头会实时捕捉世界,并将图像与计算图像相结合。然后将生成的混合图像立体投射到用户眼中。"用户看到的是现实世界的数字化近似图,上面叠加了计算图像。这是一种增强虚拟现实,而不是真正的增强现实。"Wetzstein解释说,这些系统必然非常笨重,因为它们在佩戴者的眼睛和投影屏幕之间使用放大镜片,要求眼睛、镜片和屏幕之间的距离最小,从而增加了体积。斯坦福计算成像实验室的博士生、论文的共同作者SuyeonChoi说:"除了笨重之外,这些局限性还可能导致感知真实度不尽人意,通常还会造成视觉不适。"为了制作出在视觉上更令人满意的三维图像,韦茨坦摒弃了传统的立体方法,转而采用全息技术,这是一种在20世纪40年代末获得诺贝尔奖的视觉技术。尽管全息技术在三维成像方面大有可为,但由于无法描绘准确的三维深度线索,全息技术的广泛应用一直受到限制,导致视觉体验不佳,有时甚至令人有类似晕车的反应。Wetzstein团队利用人工智能改进了全息图像中的深度提示。然后,利用纳米光子学和波导显示技术的进步,研究人员能够将计算出的全息图像投射到眼镜镜片上,而无需依赖笨重的附加光学器件。通过在透镜表面蚀刻纳米级的图案来构建波导。安装在每个太阳穴上的小型全息显示屏通过蚀刻图案投射计算图像,这些图案会在镜片内反弹光线,然后将光线直接传送到观看者的眼睛。透过眼镜片,用户既能看到真实世界,又能看到上面显示的全彩3D计算图像。3D效果之所以得到增强,是因为它是通过立体和全息两种方式产生的,前者是指每只眼睛都能看到略有不同的图像,就像传统的3D成像一样;后者则是指每只眼睛都能看到略有不同的图像,就像传统的3D成像一样。斯坦福大学计算成像实验室的博士生布莱恩-赵(BrianChao)是这篇论文的共同作者,他说:"利用全息技术,你还可以在每只眼睛前获得完整的三维体积,从而提高栩栩如生的三维图像质量。"新的波导显示技术和全息成像技术的最终成果是提供逼真的三维视觉体验,既能满足用户的视觉需求,又不会让用户感到疲劳,而这种疲劳感正是早期方法所面临的挑战。Wetzstein说:"全息显示一直被认为是终极3D技术,但它从未取得过重大的商业突破。也许现在他们有了多年来一直在等待的杀手级应用"。编译来源:ScitechDaily...PC版:https://www.cnbeta.com.tw/articles/soft/1430536.htm手机版:https://m.cnbeta.com.tw/view/1430536.htm

封面图片

基于图像的三维重建 - 带源码课件

名称:基于图像的三维重建-带源码课件描述:学习基于几何的三维重建完整流程,核心算法逐行代码实现。链接:https://www.alipan.com/s/GWftwQYrnon大小:NG标签:#学习#知识#课程#资源来自:雷锋版权:频道:@shareAliyun群组:@aliyundriveShare投稿:@aliyun_share_bot

封面图片

开创性的单像素技术实现活细胞三维成像

开创性的单像素技术实现活细胞三维成像科学家们开发出一种基于三维光场照明的突破性三维单像素成像(3D-SPI)技术。这种方法能够对显微物体进行高分辨率成像。三维单像素成像方法有可能彻底改变各种生物吸收对比、细胞形态和生长的可视化,为生物医学研究和光学传感带来新的机遇。(显微成像艺术家概念图)。他们通过对单个藻类细胞进行活体成像,进一步证明了该方法对无标记光学吸收对比的三维可视化能力。这项题为"通过三维光场照明进行光学单像素体积成像"的研究最近发表在《美国国家科学院院刊》(PNAS)上。3D-SPI技术示意图。图片来源:刘一帆摄单像素成像的优势单像素成像(SPI)已成为一种极具吸引力的三维成像方式。通过单像素探测器而不是传统的阵列传感器,SPI在光谱范围、检测效率和时间响应方面的性能都超过了传统的传感器。此外,单细胞照相机在微弱强度、单光子水平和精确定时分辨率方面都优于传统成像方法。挑战与突破3D-SPI技术通常依赖飞行时间(TOF)或立体视觉来提取深度信息。然而,现有技术最多只能达到毫米级,无法对细胞等微观物体进行成像。为了突破分辨率的限制,研究人员制作了一个3D-LFI-SPM原型。结果,原型机的成像体积达到约390×390×3,800μm3,分辨率横向高达2.7μm,轴向高达37μm。他们对活的血球藻细胞进行了无标记三维成像,并成功地在原位对活细胞进行了计数。潜在应用可以预见,这种方法可用于观察生物样本的各种吸收对比度。有了深度分辨成像能力,科学家们将来就有可能在原位监测细胞形态和生长情况。这项研究为生物医学研究和光学传感领域应用高性能三维SPI打开了大门。...PC版:https://www.cnbeta.com.tw/articles/soft/1380193.htm手机版:https://m.cnbeta.com.tw/view/1380193.htm

🔍 发送关键词来寻找群组、频道或视频。

启动SOSO机器人