免费下载《AIVIA利用3D RCAN还原图像——通过深度学习提高图像质量》
简介
徕卡显微系统公司的科学家及其在美国国立卫生研究院(NIH)和马里兰大学的合作者开发了一种3D残差通道注意力网络(3D RCAN),可以对荧光显微镜图像的空间分辨
率进行去噪并提高空间分辨率，其性能可与新的神经网络相提并论。这一成就对于荧光显微镜数据的优化帮助巨大，并成为金标准选项。此外,它体现了独立软件平台，
如Aivia 从复杂的图像数据中洞察信息的能力。
荧光显微镜的挑战
荧光显微镜一直是探索生命科学的关键工具,但该方法存在一些缺点和性能折衷。通常,荧光显微镜在空间分辨率、时间分辨率或曝光度三个方面无法兼顾。相反，最大化某个方面通常意味着牺牲其他两方面的质量一一例如,以更高的光漂白或更差的穿透力和更低的速度为代价来提高空间分辨率。
如果研究人员需要对活细胞成像,这些问题就会变得尤为严重,因为细胞的存活率会随观察时间的延长而降低。
深度学习经证明是一种具潜力的软件式解决方案，可以通过图像还原在一定程度上减轻性能折衷。徕卡显微系统的科学家与合作者团队共同开发了3DRCAN,在数据去噪和提高3D成像空间分辨率方面,它的性能可以达到或超过现有新神经网络。他们还通过数万张图像展示了细胞器动力学的即时结构照明显微镜(iSIM)图像。
解决图像质量困扰
为了测试3D RCAN对荧光显微镜数据的去噪能力，作者首先修改了神经网络架构以处理数据体而不是单张图像，随后创建了用于训练和测试的数据体,用来比较3D RCAN与CARE以及另外两种一流深度残差网络(SRResNET和ESRGAN)的性能。
作者使用在高尔基体、肌动蛋白、内质网、溶酶体、微管和线粒体染色的细胞组上收集的数据体,证明3D RCAN的性能与其他测试的残差网络一样好或更好,能够改善视觉外观、结构相似性指数(SSIM)和峰值信噪比(PSNR)指标。
U20S活细胞中的线粒体(绿色,pShooter pEF-Myc-mito-GFP)和溶酶体(mApple-Lamp1)的双色成像。RCAN输出说明线粒体分裂(橙色箭头)、线粒体融合(白色箭头)和线粒体-溶酶体接触。显示了单个横向平面(补充视频3)。图片来源:Nature Methods
双色共焦图像的分辨率增强。训练用的原始图像在LeicaSP8系统上拍摄,(A)共焦模式的核孔复合物(白色)和微管(绿色);(B)STED模式拍摄的图像。(口使用深度学习模型将共焦图像的空间分辨率提升到接近STED质量。
对于收集的活细胞3D数据,3D RCAN可以有效消除光漂白,允许获取长时间的超分辨率3D图像数据。实际应用中分辨率非常好,以至于能够在3D图像中长时间观察到线粒体和囊泡的相互作用。3D RCAN的图像去模糊效果也比其他测试方法更好。
RCAN性能还可以使用受激发射损耗(STED)拍摄的实验数据来训练RCAN模型。相比共聚焦的空间分辨率,RCAN在多个固定或活细胞样品中实现了2.5倍的提升,与STED的提升效果类似。值得注意的是,反卷积共聚焦数据无法实现类似的分辨率提升。研究人员还开发了将RCAN与膨胀显微术组合使用以提升iSIM分辨率的方案。细胞爬片样本,线粒体和微管动力学4D研究,通过这种方法可以实现1.9倍的横向分辨率和3.6倍的轴向分辨率提升。注意,膨胀显微术不能应用于活体样本成像。
基于这些结果，作者认为,相比现有方法(例如光片显微镜和转盘共聚焦成像设备),3D RCAN与高分辨率、多噪点的共聚焦显微镜或iSIM相结合可以成为3D活细胞成像的理想组合。作者还在考虑使用这种方法进一步改善其他显微成像模式。
如何使用3D RCAN模式
GitHub和我们的网页上提供了代码、数据以及经过训练的深度学习模型。此外,我们还在Aivia中部署了所有预训练模型,因此每个人都能将其轻松用于自己的数据。Aivia用户还可以添加训练数据以针对自己的成像/采样工作,优化我们创建的模型。
