徕卡共聚焦课堂第9讲：如何利用自适应反卷积提取图像信息

图像信息提取

共聚焦激光扫描显微镜是真正三维分辨荧光成像的标准。快速光学切片采用灵活的扫描策略，结合同时多色、高灵敏度和低噪声信号检测，在空间和时间域提供了最大的分辨率。结合现代的图像信息提取方法，有助于研究者从获取的图像中挖掘尽可能多的信息。图像信息提取是指利用图像系统的先验知识进行图像增强的智能过程。从简单的眩光控制和光学开发到智能和巧妙的模型提取，有许多方法可以看到图像之外的信息。

尽管具有非常好的三维扫描质量，但在成像过程中会出现物理上的衍射现象，这种现象是每个成像系统的特征，可以用所谓的点扩展函数()来描述。通过光学系统成像的物体是该物体与成像系统的光学特性的叠加（卷积）的结果。这些衍射现象会物体产生一种“涂抹”效果，导致有效分辨率降低和单个光子精确位置成像不正确。此外，在扫描生物样品期间发生的背景和噪声影响，这反过来又会进一步减少图像原始数据的实际信息内容。

这些效果均可以用显微镜的神奇三角的锥体来显示，该三角锥由分辨率、速度、灵敏度和光谱范围组成，它们分别位于各自的角上。增强任何一个因素会相应地减弱其他因素。

但有好几种办法进一步突破这些限制：通过复杂的智能模型识别干扰信号，并通过反卷积过程将单个光子与其原始位置相关联，来扩大金字塔的覆盖区域并消除其限制。

可以接近实时地突破这些极限，以高效的方式提取共焦数据的原始信息，从而使共焦成像不仅超越衍射极限[1]，而且并行地提高了有效灵敏度和时间分辨率。通过自适应图像信息提取，获得了底层标本真实性质的清晰图像。相比下述传统方法，基于实际情况的自适应反卷积代表了可量化、可复制和可信的信息恢复的最佳可用程序。

是一种新方法，利用极快的并行处理从共焦数据中近实时地进行全自动智能信息提取。与传统方法相比，主要区别在于体素精度和实时评估图像属性。这个过程完全连接到成像系统基于探测器的光学接口，从而完全整合到相应的数据和数据采集流中。在此基础上，为每个相关体积段确定后续反卷积的最佳参数。这种将反卷积参数空间与局部图像属性相关联的自适应过程不仅能够在相应的图像数据中实现完全自动化的体素精确信息恢复，而且特别适用于任何生物样品和应用（见图1）。该方法的另一个特点是由于特定地点的最优重建过程而保留了信息携带信号。

图1：的自适应过程允许任意图像数据和应用的完全自动化信息提取。

相比之下，传统反卷积方法使用全局思维，不考虑图像属性的位置依赖差异。这意味着这些过程不能全自动应用，但始终基于“最佳猜测”方法，通过该方法在创建全局反卷积参数空间时寻求最大可能的平衡。这种方法的缺点自然在于它没有考虑到图像属性中的不均匀性，这导致信息携带信号很有可能被错误地拒绝，或者相反，诸如背景或噪声之类的无用信号会被解释为信息单元并得到增强。

在中，原始共聚焦数据始终保留在经典的反卷积（非自适应）或后处理过程中。而且，也可以在类似于经典反卷积的非自适应模式下使用。

传统反卷积

理想情况下，反卷积的目的不是通过丢弃失焦信号，而是通过将信号重新分配到其原始位置来去除失焦信号，从而保持成像体积中的总信号或光子计数。反卷积的一般方法是基于对显微镜原始数据进行适当的预处理，然后进行实际的传统反卷积处理（见图2）。

图2：使用传统方法从显微镜原始数据到反卷积图像的整个反卷积过程（包括预处理）的图形表示。使用全局有效的单个(=1)参数空间来运行反卷积。

预处理是利用图像处理的一般方法对图像原始数据进行修正，并为反卷积做准备。通常，这会用到适用于确定背景信号和信噪比的平滑方法。然后使用先前定义的全局反卷积参数执行反卷积。这些参数包括显微镜的特征值，例如，如显微镜硬件的配置文件中列出的激发/发射波长和物镜的规格。此外，像一般背景和信噪比等弹性值，尤其是反卷积相关参数（见下文）需要由用户设置，以定义反卷积的参数空间。这些值对反卷积的准确性和可信性均有很大影响。

与显微镜配置无关，相关和全局设置的参数由迭代反卷积过程中的反卷积步骤数和正则化定义（见图3）。迭代次数和正则化决定了反卷积的精确度/可信度的度量，并且必须主要根据信噪比进行非常仔细的平衡。正则化过程发生在各个反卷积步骤之间，通常基于所谓的使用快速傅立叶变换的-过程。

正则化：正则化参数表示算法将信号解释为背景或噪声的一种方法。因此，正确估计该参数对于避免产生伪影（背景或噪声，可解释为信息携带信号），或相反，对于已被错误识别为背景或噪声的信息携带单元的分类至关重要。

迭代：迭代执行反卷积过程本身，直到达到适当的中止准则，从而停止反卷积过程并完成数据处理。

图3：反卷积过程。

因此，整个反卷积参数空间由与以下内容相关的参数组成：

         显微镜硬件、成像和实验装置；激发/发射波长、物镜、分辨率、样品基质、浸没/嵌入介质等。

         图像特征：背景、信噪比、正则化、迭代次数等。

自适应反卷积

反卷积方法基于一种全新的自适应方法，它在图像采集（预处理）过程中读取局部图像性质，并提取合适的反卷积参数用于正则化过程。这实现了完全自动化的反卷积处理，无需用户手动输入（参见图4）。

图4：图解中的自适应反卷积方法。与传统重建方法相比，该方法使用了特定于体素的图像属性重建方案。

预处理

在预处理步骤中，以体素精度确定关于背景和信噪比的局部图像属性：

背景：首先识别全局背景，该全局背景与用于局部背景估计值(，)对应的局部信噪比相关。

信噪比：信噪比由每个像素的灰度值(，)的适当估计（具体取决于其邻域）和用于平滑的特定内核确定。

决策掩码的关键要素基于应用一种快速运转的自适应动态过程，且完全集成在系统数据流中，该过程使用基于局部图像属性的最佳处理程序来获取信息。为此，如上所述，必须针对每个体素/体段提取有关背景和信噪比的基本图像属性，并在此基础上为后续反卷积提供体素精确的最佳参数集。

根据特定背景和信噪比信息的确定，在个维度上生成所谓的决策掩码，其中是数据采集通道的数量（例如，在数据堆栈中=3，见图5）。

图5：体素特定的图像质量特征（背景和信噪比）由决策掩码（左上角）表示，并以从低图像质量（低信噪比，蓝色）到高图像质量（高信噪比，红色）的伪彩色显示。在此基础上，使用自适应系数为每个特定体素位置生成最合适的反卷积参数集。

通过自适应系数将决策掩模产生的每个体素的信息与相关的反卷积参数集进行关联。自适应系数与正则化参数直接关联，并将共聚焦数据的局部图像属性转换为每个体素的合适反卷积参数（见图6）。

图6：图解单个图像平面的决策掩码。计算的图像质量越低，用于后续反卷积的相应正则化参数越高（反之亦然）。使用决策掩码可以对自适应反卷积的反卷积参数空间进行基于实际情况的建模。

生成决策掩模的整个过程基于一般的图像处理方法，因此完全可以量化，即不会改变单个光子和光子计数基于强度或定位的特征。该流程仅从共聚焦数据中提取信息，不做任何修改。因此，决策掩模根据共聚焦数据中的背景和信噪比，逐个体素地定义局部图像质量特征，以自适应的方式进行反卷积处理，即正则化和迭代次数。

反卷积

实际的反卷积步骤基于运用-算法和物理建模的点扩展函数，后者适用于相应的成像方法（共聚焦、、多光子等）。根据参考文献[2,3,4]对底层模型进行调整，并针对徕卡系统环境优化。其结果是对每个体素/体段进行优化重建，排除了背景和噪声等不需要的信号，同时保留并揭示了信息承载结构。

图7：共聚焦数据（左）、决策掩码（中）和反卷积数据堆栈（右）的4色细胞的图形伪色表示。下文的叙述描绘了绿色通道（线粒体染色），以更好地显示相应的决策掩码。

反卷积的自适应性体现在从每个体素的决策掩码中提取的反卷积参数空间的应用方面。此外，纯反卷积过程对应上述的经典常规过程。迭代次数的中止标准完全自动处理，并通过对上一个迭代步骤的图像与前一次迭代的图像进行连续比较来定义。当最后两次迭代的比较图像在本质特征上不再呈现任何差异时，迭代立即终止。

图8：共聚焦数据（左）和一个4色细胞的反卷积图像（图7）。反卷积后的图像已经去除了失焦信号，清晰地显示出细丝和线粒体等细节。

最后，使用预处理图像（在反卷积之前）的光子数来均一化反卷积的图像。这意味着所获输出图像始终可以互相比较，因为没有基于最大值或可变因子的均一化发生。图9显示了一个已用校正过的肾脏切片的共聚焦平面：伪彩色表示（图9，中间）用蓝色标识的光子会被排除在各自的体积段（背景或噪声）之外，或被重新分配到另一个体积段，即它们的原始位置（信息携带光子/信号）。红色标识的是信息携带光子/信号，它们通过反卷积重新分配到它们的原始体积段。请注意，在共聚焦数据中形成“可见”结构且未在反卷积图像中表示的信息携带光子被重新分配到此处未显示的相邻图像平面。

图9：肾脏切片的单个共聚焦平面，显示了共聚焦数据（左）、伪彩色光子重分配（中）和反卷积图像（右）。蓝色值表示光子被识别为背景/噪声并排除，或被重新分配给另一个体素。红色值对应光子被重新分配到的图像平面中的体积元素。

一方面，这个过程实现了全自动化处理，另一方面，对观察到的信号进行高度精确度的定量重建。这让从根本上有别于传统反卷积方法，后者不能使用全局应用程序考虑图像数据的局部变化，因而会错误地排除或保留信号。

图10显示了一个典型的数据集应用程序，在每秒44帧时，每个像素包含的光子数非常低。这种情况下，背景、噪声和信息携带信号之间的体素差异很小，这意味着需要考虑局部方差可能对重建方案有很大影响。背景和信噪比的各自影响清楚地说明了基于实际情况的自适应反卷积的优点，或者更确切地说，基于全局反卷积“最佳猜测”来估计的方法的无效。

图10：以每秒44帧获取的-24–管蛋白时间序列的单时间点表示。由于低光子计数，高体素特定的背景变化，均可观察到噪声和信息携带信号。通过考虑局部方差的自适应实际情况方法，给出了共聚焦数据的理想重建方案（左上）。相反，全局方法（右下）不能对这些局部差异做出具体反应。因此，底层结构无法解析。样品由德国海德堡欧洲分子生物学实验室小组的博士提供。

本例表明了如何帮助减少有效光剂量，从而通过使得低光子计数数据可以用于分析进行光漂白。

使用进行非自适应反卷积

除了上面描述的自适应反卷积，通常提供进一步处理策略，不使用决策掩码作为定义反卷积参数空间的基础。这些处理策略通过一个全局有效的参数集使用已知的通用方法进行重建，因此符合大家通常知道的反卷积过程。

可定量性

如上所述，生成决策掩码的过程完全基于经证明的图像处理方法进行线性信息提取。该程序在反卷积前不修改共聚焦数据，这意味着的这一重要特性充分反映出在此背景下的一个可定量框架。在逐个体素地提取图像特征并将其转换为相应正则化参数和迭代次数的反卷积参数后，将这些信息输入到后续的反卷积处理中。

反卷积本身的工作方式类似于传统方法（见上文），因此对于这种类型的重建来说，由于其（非线性）线性可以量化，它具有相同的特性[5]。无论是否使用基于自适应的反卷积参数空间，并在此基础上应用局部变化的反卷积策略，在重建过程中没有局部和相对的强度出现失真：反卷积处理的相关宽度对应相关的宽度，其局部变化的反卷积参数在该相关宽度内保持不变。这确保反卷积参数的变化速度够慢，以完全避免这种基于光强的影响。

不考虑背景和噪音的干扰，的一项基本特征是对于反卷积前后的图像

• 保留了所有强度之和

• 保留了光子数量

对于每一个处理步骤，在反卷积前后比较对应的强度和光子数量的关键数字，这意味着强度之和和光子数量完全可以量化。

最后，使用预处理图像（在反卷积之前）的光子数来均一化反卷积的图像。这意味着所获输出图像始终可以互相比较，因为没有基于最大值或可变因子的均一化发生。图9显示了一个已用校正过的肾脏切片的共聚焦平面：伪彩色表示（图9，中间）显示了蓝色标识的光子会被排除在各自的体积段（背景或噪声）之外，或被重新分配到另一个体积段，即它们的原始位置（信息携带光子/信号）。标识红色表示信息携带光子/信号，它们通过反卷积重新分配到它们的原始体积段。请注意，在共聚焦数据中形成“可见”结构且未在反卷积图像中表示的信息携带光子被重新分配到此处未显示的相邻图像平面。

通过使用基于实际情况的自适应方法（决策掩码），将产生伪影或排除信息携带信号的概率降至最低水平。事实上，相比传统方法，自适应反卷积在可量化程度方面代表着最佳可用程序。

共聚焦超分辨率

通过反卷积过程，光子和相关强度被重新分配到它们的原始状态，这也将光学图像中的衍射现象等干扰因素降到最低。因此可以显著提高光学系统的有效分辨率。可以令分辨率在横向上提高到120纳米，在轴向上提高到200纳米。

瑞利判据[6]定义了衍射极限系统中的分辨率极限，换句话说，只要两个光点彼此可区分或可分辨。如果来自两个单独艾里斑的衍射图不重叠，它们就很容易区分，即“很好分辨”，因而被认为符合瑞利判据（见图11，左侧）。当一个艾里斑的中心与另一个艾里斑的衍射图的第一极小值直接重叠时，它们可以被认定为“刚刚可分辨”，仍然可以作为两个独立光点来区分（见图11，中间)。如果两个艾里斑的衍射图比这更近，那就不符合瑞利判据，即“不能分辨”为两个不同的光点（或标本图像中的独立细节；见图11（右））。

图11：两个单独艾里斑的重叠衍射图所显示的分辨率极限（由瑞利判据定义）：左侧：很好分辨，中间：刚好分辨，右边：无法分辨

图12显示了一个共聚焦数据集与一个在条件下所获数据集的比较。物体显示分子纳米尺(120，）携带两个荧光标记，其间距为120纳米。共聚焦数据集显示了衍射极限物体的典型融合分布，而能够分辨不同的发光点，因此它们的间距为120纳米。纳米粒子仍然表现为一个“涂抹”单点，或者在图像中无法清晰分辨，这并不是非清晰重建的结果。这些物体在样品台上随机旋转，因此不能垂直于显微镜的检测轴成像。一种可在这些边界条件下测量到的效应。

图12：共聚焦数据（左）和利用分辨的120分子级纳米粒子（右）。看起来像是一个“涂抹”单点，或者在图像中无法清晰分辨的纳米粒子，在样品台上随机旋转，因此不能垂直于显微镜的检测轴成像。

总结

尽管近年来出现了新的成像方法，但标准的共聚焦激光扫描显微镜仍然可以实现真正的三维分辨率。通过结合具有高灵敏度、低噪声探测器，以及多光谱同步数据采集的创新、极速扫描方法，共聚焦激光扫描显微镜可以借助徕卡的独家技术，应用到以前无法访问的动态和光谱范围。在有效空间和时间分辨率方面，物理光学成像特性以及背景和噪音引起的干扰所产生的限制，仍然是所有成像方法的局限性。

随着的引用，可以使用全新的系统集成模块，几乎实时地突破了这些限制，推动着神奇金字塔的四个角，包括分辨率、灵敏度、速度和光谱（光谱范围）。因此，可以通过自适应图像信息提取，获得底层标本真实性质的清晰图像。

采用基于实际情况的自适应反卷积方法，无需用户手动输入，即可实现高度可靠的全自动化图像信息提取，而由于衍射现象和待检样本的生物特性，这些信息原本无法获得。因此，可以实现远低于理论衍射极限的分辨率，或者显示尽管在空间和时间结构上存在于共聚焦数据中，但由于衍射和噪声，在以前是不可见的图像信息。

不仅可以提高有效的空间分辨率，还能提高有效的时间分辨率，使得可访问的光谱范围得到极大并行扩展。使用，就不再需要设计实验装置，因为信息承载结构可以直观地映射在共聚焦数据中。事实上，此等信息已经包含在分别以低光子数和最高扫描速度获取的图像数据中。会自动提取底层信息层，因此可以达到每秒428帧的有效共聚焦扫描速度且同时使用5种颜色。与那些并非为点扫描设计的光学方法相比，能够达到真正的共聚焦分辨率。