微信扫码或点击右上角...分享

数字摄像头技术简介

基本原理、特性、可能性和折中方案

数字式图像采集设备已经成为现代光学显微镜的标准配置。利用数字式设备,研究人员可以通过屏幕实时观察样本,获取并存储图像和可量化数据。无论是基础的明场成像,还是先进的超分辨技术,大量的应用都要用到数字式摄像头。

现有数字摄像头性能相较以前已经有了大幅的提高,可选择的种类也有大幅增加。这为科研人员提供了大量满足其科研需求的探测工具。其中成像传感器的选择对成像质量有很大的影响`1,因此使用者应对此类设备的工作原理以及设备差异有一个基本的了解。在本文中,我们将对科学成像的常用数字摄像头技术基本原理进行简要介绍。

基本原理

成像传感器的任务是将光信号转换为电信号。成像传感器的原理基于所谓的光电效应,该效应描述了光子如何通过与材料交互释放电子并因此积累电荷。大多数摄像头采用硅作为实现这一目的的基底。无论何种情况,电子均借助光子的吸收来脱离束缚。

硅的天然特性使其成为大多数成像传感器基本单元(像素)的理想主要组件。

像素

无论在何种类型传感器中,我们都可以将像素看做一个基本单元,而像素的主要元件是光敏光电二极管,其中硅加在一个电子存储单元上(图1)。硅负责产生电子,电子经采集和转移后转换成数字信号。像素的其他组件包括电子控制电路和色素层,旨在剔除多余或破坏性的波长。

图1:光电二极管。光敏二极管的主要材料是光电硅。输入的光子能量被用来激发硅产生电子,电子经过采集到达存储单元(橙色)中,然后转移到放大器。一个完整的数字成像传感器(右)通常由单个像素中嵌入的数百万个光电二极管组成。

在成像过程中,撞击光电二极管的光子被转换成电子。这些电子存储在电子存储单元中,方便随后转移(读取)到放大器(图2)。放大器读取积累的电子并将其转换为电压,而相邻的模拟(AD)数字转换器将其数字化并产生等效的数字信号。

图2:基本成像原理。入射光以光子撞击图像传感器并相应地产生电子。这些电子按像素传输至串行寄存器,随后穿过放大器。模拟数字转换器(未显示)可将产生的电压转换为电子图像信号。

像素中产生的电荷与撞击传感器的光子数量成正比,通常受曝光时间(积分时间)、检测到的波长和光照度的影响,其中光照度的影响最大。根据经验,像素大小确定了像素不饱和时可以采集的电子数量。对于显微镜检查所用的成像传感器,像素大小通常在2-24 µm²之间。

受典型的像素结构影响,整个像素表面并非都是光敏的。图像传感器的填充因子指像素光敏面积与其总面积的关系。可在像素上加装显微透镜,以更好地将光聚焦到光敏区域,从而改善填充因子。

一个完整的数字成像传感器由数百万个按几何阵列排列的像素构成。人们常将像素数量与“分辨率”混淆。值得注意的是,决定摄像头芯片分辨率的不仅仅是像素数量,还有像素大小。一般来说,小像素比大像素产生的分辨率更高。因此最后决定显微镜检查系统分辨率的不仅是传感器阵列,还有完整的光学系统。

噪声和信噪比

图3:冷却。热能会导致暗噪声,这表明像素中的电子是随机产生的。暗噪声应对措施之一是冷却摄像头,比如可利用珀耳帖元件和散热片。

图4:信噪比(SNR):以上是SNR逐渐升高的同一物体的图像。从左侧的图像上很难区分实际信号和背景。中间图像表明SNR有所改善。右侧图像的SNR最好,这从上图也可以看出来。用绿线表示像素强度。其中,在左图中很难区分峰值和背景噪声,而右图的峰值可以轻松辨别。

但不幸的是,噪声是一个会影响所有信号的基本物理因素。在不同类型传感器中,主要噪声的影响和类型也各不相同。一般来说,摄像头噪声可按其来源分为三个主要类别:

暗噪声,也叫暗电流,是传感器中的一种基本噪声。像素中的硅在随机产生电子时产生的热能导致了暗噪声。随着曝光时间的推移,像素中的暗噪声不断积累。可用每秒每像素中电子数量(e-/px/sec)表示。在曝光时间较短的快速应用中,暗噪声并非什么大问题。但如果曝光时间长,比如对于持续一或多秒的微弱荧光信号,这种噪声就可能成为举足轻重的问题。可通过冷却传感器来减少暗噪声,每降温8度可将暗电流减半(图3)。

读取噪声源自信号量化涉及的传感器的电子读取电路。根据经验,可通过降低像素读取速率来降低读取噪声。像素读取速率确定了从传感器读取电荷的速度(单位:MHz)。由于读取噪声决定了摄像头的帧频,因此在活细胞高速延时等快速实验中必须考虑读取噪声。部分摄像头的读取速率可以更改,因此可以根据应用需求来决定使用快速读取模式或针对弱光应用采用低噪声模式进行优化。读取噪声的单位是e-,与积分时间无关。结合读取噪声和暗噪声可决定特定摄像头是否适用于低亮度荧光应用。

另一种噪声源是光子散粒噪声,由入射光子计数不确定性决定。换言之,这种噪声源于光子影响传感器的随机性,并非由传感器本身引起。最好的解释就是想象您正在用水桶接雨水。即使每个桶的大小和形状都相同,每个桶也不会接到完全相同数量的雨滴,因此,可以用泊松分布以可视化的方式表示芯片上检测到的光子。

在低光照条件下,如信号强度低的荧光成像,由于不同噪声源会影响信噪比,因此对图像质量会有重大影响。所以,为捕捉优质图像,选对摄像头至关重要。

信噪比(SNR)是衡量图像总体质量的量度,且主要受传感器类型的影响。一般来说,可将其定义为传感器灵敏度。虽然解释起来可能很复杂,但简单来讲SNR可以表示相关信号与背景噪声之间的区分程度(图4)。由于信号取决于达到传感器的光子数量、传感器将光子转换为信号的能力,以及摄像头抑制多余噪声的能力。这就是为什么填充因子、显微透镜以及传感器的量子效率(参见“量子效率”一节)等因素在此会如此重要。

最后值得一提的是,样品、自动荧光或不良染色导致的光学噪声通常是图像中的主要噪声源。如果样品制备不良,那么使用先进的传感器也无济于事。

满阱容量

满阱容量主要取决于像素的物理尺寸。它指的是单个像素的电荷存储容量,即在饱和前可以采集的最多电子数量。我们可以将达到满阱容量比喻为水桶盛满了水(图5)。

图5:满阱容量(FWC)。可将FWC比作盛满水的水桶。大的水桶(像素)比小的可以盛更多的水(电子)。

大像素比小像素的满阱容量大(6.45 µ像素的一般为18,000 e-,而24 µm像素的一般为300,000 e-)。为获得更大的满阱容量而牺牲空间分辨率,这反过来影响了动态范围(参见“动态范围”一节)。

超过满阱容量的电子无法量化。在某些情况下,电荷会泄漏到相邻的像素中,导致“散光”效应(图6)。部分传感器有抗晕电子器件,通过释放多余的电荷来抑制散光伪影。

图6:散光伪影。在左图中,水桶的容积足以容纳所有流进的水滴。旁边显示的是相应的显微图像。如果流进的水超过桶的容量,水将溢到相邻的容器。溢出的电子会导致显微图像出现散光伪影。

动态范围

与满阱容量直接相关的一个特征是动态范围。它所描述的是传感器同时记录低强度和高强度信号的能力。实际上,这表明较弱的信号不会丢失在在噪声中,且最强的信号也不会导致传感器饱和。用数学术语表示,则可用满阱容量(FWC)除以摄像头噪声确定。

通常用分贝(dB)表示:

如果满阱容量更高且摄像头噪声更低,则可提高动态范围。如果采用一级近似值,我们可以说下列参数影响了动态范围:

  • 像素大小(满阱容量)
  • 温度(暗噪声)
  • 读取速率(读取噪声)

对于荧光应用,动态范围大尤其有利于在暗背景下记录明亮荧光信号(图7),尤其是在量化信号时。

图7:动态范围。动态范围大,即传感器同时记录低强度和高强度信号的能力,有助于在暗背景下对明亮的荧光信号成像。

动态范围直接受设定的增益值的影响。此处“增益”一词指对产生的信号的放大。例如,如果将传感器的增益增加一倍,则满阱容量就会减半,从而降低动态范围。因此通常需要在灵敏度和动态范围之间进行权衡。

如果传感器的固有动态范围不足以满足采集样本图像的需求,则可以考虑“高动态范围”(HDR)采集。在此过程中,将在不同曝光强度下获取一系列图像。最后通过不同算法计算获取的图像(图8)。这种方法的缺点是获取图像所需的时间会被延长。因此不适用于快速移动或光敏样品。

图8:HDR采集。此样本(椴树样本)既有强荧光信号(上部)的区域,也有弱荧光信号(下部)的区域。摄像头的动态范围不足以同时记录暗区域和亮区域。因此只能对曝光强度进行优化,以便对强(左)或弱(中间)荧光信号进行成像。HDR图像(右)由一系列在不同曝光强度下获取的图像组合而成。

量子效率

在理想情况下,可以假设100个光子可以产生100个电子。光子与传感器交互时可能会被其吸收、反射甚至直接穿过。传感器吸收特定波长光线并将其转换为电子的能力被称为量子效率(QE)。

传感器的量子效率受多种因素影响,包括:

  • 填充因子
  • 显微透镜的加装/性能
  • 防反射涂层
  • 传感器格式(背面或正面照明)

量子效率始终是入射光波长的函数。科学成像中最常用的硅检波器能够探测可见光范围之外的波长(约400至1000 nm)。观察QE曲线可以看到特定传感器将特定波长转换为信号的效率(图9)。

图9:量子效率(QE)。光子绝不会100%转换为电子,该转换率受多个因素影响。传感器吸收光子并将其转化为电子的能力即为QE。QE始终取决于波长,可用曲线表示。

大多数摄像头传感器是前照式的,其中入射光从像素正面进入,在达到光敏硅前必须通过包含像素电路的半透明层(图1)。此类半透明层会导致部分光损失,因此前照式传感器的最大QE值通常在50-60%左右。由于传感器表面的电子器件只能产生局部电场,因此无法控制在硅片更深处形成的电荷(图10)。

在背照式传感器中,光线直接从“背面”照射到光敏硅上,而不必穿过像素电路,因此最大QE接近95%。在制造背照式(薄型背照式)传感器时会磨掉这种额外的硅元件,从而获得超薄硅层,实现像素电子设备对所有电荷的控制,但这个过程十分昂贵。

图10:前照和背照式。光电二极管的照明可能在“正面”(左侧)或“背面”(右侧)。由于光子猝灭层的存在,背照式二极管的电子产生效率高于前照式二极管。

位深

比特位深与动态范围是有关联性的,但不可将这二者混淆;位深指的是如何将模拟信号数字化(或分割)为灰度值或灰度。数字摄像头传感器的动态范围取决于其FWC(满井容量)和噪声。位深则取决于AD(数模)转换器将产生的电子数量转换为灰度值的能力。输出的灰度越多,可再现的细节就越多(图11)。

部分摄像头的灰度值超过了光子可以产生的最大电子数量(比如,16位数字化可将信号细分成约65K的灰度值)。在极端情况下,每个像素有1000个光子时传感器可能就饱和了,而图像显示的灰度值仍是65000。此外,计算机屏幕通常只能显示8位数据。这就是为什么超过8位的摄像头信号必须降级到8bit位深才能显示。用户可借助查找表介入这个过程(LUT)。利用查找表通常可以揭示图像中隐藏的细节。

图11:动态范围与位深。传感器的动态范围是指其同时记录低强度和高强度信号的能力。这可以追溯到传感器的像素FWC和噪声特性。由于在高FWC的条件下会有许多光子撞击像素,因此高FWC有利于探测高强度信号。反之,低噪声有利于检测低强度信号。动态范围主要指像素的特性,而位深是AD转换器具有的一个特性。位深越大,就越容易分辨图像的整个动态范围。数字成像传感器利用2位模拟数字转换器可输出4级灰度,利用4位模拟数字转换器则可输出16级等。

成像速度和像素合并

数字摄像头的成像速度以帧频度量,即每秒帧数(fps)。这是摄像头在一秒钟内可获取的图像(帧)数量。影响摄像头最大帧频的因素有许多。在规定曝光时间下,需要考虑以下参数:

  • 像素数
  • 像素读取速率
  • 电脑接口(USB 2.0/USB 3.0/CamLink等)

提高帧频最简单的方法就是通过切换到较小感兴趣区域(ROI)来减少读取的像素数量。随着帧频的增加,到达传感器的光子数量将减少,因此对于特定的样品类型可能需要额外提高灵敏度。提速降噪的一个小技巧是“芯片级像素合并”。

像素合并期间不会从每个像素分别读取数据,而相邻像素的数据合并后将记录在串行寄存器的芯片上,并作为“超像素”读取。在这种方法中,可合并来自2×2、3×3或4×4以及更多像素的数据(图12)。

图12:像素合并。对于弱光应用,数字摄像头芯片能够汇总一定数量相邻像素(左)的信息。如果是2×2像素合并,可将按正方形排列的4个相邻像素信息视为一个大的“超像素”。在这种方法中,可牺牲空间分辨率来提高速度和信噪比。右边的顺序阐释了片上像素合并过程。t1表明了待合并的四个像素。t2表明较低的一行被转移到串行寄存器。t3表明再下面一行被转移到串行寄存器,其电子被合并(用较浅的颜色表示)。t4表明来自串行寄存器的两个像素经过合并,进一步提高了像素亮度。

像素合并通过牺牲分辨率来提高信噪比。假设每个像素包含100个电子,读取噪声为10个电子,逐个读取的信噪比为10/1。如果是2×2合并,读取的信号是400,而读取噪声仍然是10,因此信噪比骤增至40/1。由于读取电子器件需要处理的数据点更少(如果是2×2像素合,少4倍),因此可以提高帧频。但像素合并的主要缺点是会损失分辨率,因为有效像素会因像素合并(正方形)而变大(图13)。

图13:像素合并。右图是像素合并之后记录的图像。SNR的改善是以牺牲分辨率为代价的。

在快速延时等快速荧光成像中,进行像素合并是标准做法。这样做的目的是降低噪声、减少数据量并缩短曝光时间。由于后者减少了漂白和活细胞的光致伤害,因此尤其值得一提。

对于染色病理组织记录等明场应用,通常将像素合并应用于实时图像,从而在移动显微镜载物台的同时获得光滑的屏幕图像。

传感器类型

上述大多数特征和参数对于显微镜检查使用的所有类型成像传感器均通用。但是,基于历史发展和技术进步,显微镜学工作者可分别选择不同类型的传感器和摄像头。此类设备的主要结构(如CCD和CMOS)、信号增强能力(如EMCCDs和CCDs)和图像质量(如CMOS和sCMOS)各有不同。

CCD传感器-电荷耦合器件:配备此类传感器的摄像头主要用于明场和荧光成像。就其特性而言,像素中产生的电荷从其表面转移到另一个像素,并转移到串行寄存器(图14)。串行寄存器中的电荷一个接着一个转移到读取电子器件,其中信号被转换为电压,并经过放大、量化和数字化处理。因此CCD传感器中的所有数据通常通过单个输出节点读取。

EMCCD传感器-电子倍增CCD:基本上,EMCCD传感器就是CCD传感器增加了一个EM增益寄存器,置于传感器和读取电子器件之间。EM增益寄存器在信号到达读取电路前将其放大。除此之外,EMCCD摄像头采用背照式传感器,其典型的峰值QE > 90%。此类摄像头用于极弱光应用,甚至能达到单光子灵敏。它们的价格通常明显高于基于CCD的普通摄像头。

CMOS-互补性金属氧化物半导体:CMOS技术最初用于手机和低端摄像头,近年来,该技术得到了大幅改善,并成为显微镜检查中标准明场应用的主要成像设备。它与CCD的主要区别在于内置像素电子器件和省时传感器读取原理,与传统CCD传感器中的单个读取节点相比,CMOS传感器具有数千个读取节点。

sCMOS-科学CMOS:几年前推出的这款传感器克服了噪声水平高等常见于CMOS传感器的缺点。此类传感器用于高端荧光成像,具有帧频快、动态范围大和噪声低的优势。

图14:传感器类型。CCD(左):入射光的光子撞击图像传感器并相应地产生电子。这些电子按像素传输至串行寄存器,随后穿过放大器。模拟数字转换器(未显示)可将产生的电压转换为电子图像信号,并显示在电脑屏幕等界面上。EMCCD(中间):根据传统的CCD传感器,EMCCD中的光致电子会转移到串行寄存器。在传输至放大器的途中,电子将经过一个额外的寄存器,即电子倍增(EM)寄存器,在其中电子数量将增加1000倍。sCMOS(右):配备sCMOS传感器后,每个像素都将有相应的放大器。此外,每列每侧都有一个附加放大器和相应的模拟数字转换器(未显示)。在这种结构下,由于电子不必先通过下游像素再到达串行寄存器,因此读取速度更快。

总结

数字摄像头技术已经成为现代光学显微镜检查中的必要手段,大多数显微镜用户或是想通过监视器实时观察样本,或是希望在计算机中保存并处理相关发现。此外,若是没有数字摄像头传感器的兴起,定位显微镜检查等显微技术甚至也无法实现。至此,本文读者应已了解数字显微图像的生成方式。这将有助于各位读者正确使用数字摄像头和解读生成的数据。


提交后,我们将每月自动将您关注领域的行业快讯更新链接通过短信、邮件发送给你
数字摄像头技术简介 立即观看
RELATED PRODUCTS
相关产品
no-data
暂无数据
wechat
欢迎扫码关注徕卡官方微信,更多显微技巧,行业资讯尽在掌握
close