基于光场相机的超分辨率成像 (视网膜血氧饱和度测量仪)

本文作者简介:

邹达,冯夕萌,刘刚军,任秋实,卢闫晔

北京大学 工学院 生物医学工程系 北京 100871

本文摘要:

视网膜有着很高的氧代谢需求,当人体出现眼部病变或全身系统性疾病时,通常会出现对应的视网膜血氧代谢异常和功能紊乱。对于视网膜血管含氧情况的检测有着重要的临床价值。然而,目前商用和实验室开发的视网膜血氧饱和度无创检测仪器均采用科研级探测器,其价格昂贵,不利于仪器的大规模生产和销售。本研究设计了一种基于单镜头反射式相机(单反相机)的视网膜血氧饱和度无创测量系统,该系统基于眼底相机,以Nikon D70单反相机作为探测器,针对其较理想的光谱响应曲线,通过提取出其绿色和红色通道记录的视网膜成像结果,即可用于功能性的血氧饱和度的检测。

本研究提出的方法为廉价版的视网膜血氧饱和度检测分析仪提供了新的思路。该系统的测量准确性和重复性良好,具有在临床上 进一步进行研究和应用的潜力。

本文关键词:

视网膜功能成像;视网膜血氧饱和度;单反相机;拜耳滤镜;眼底成像;眼底相机

本文通信作者:

基金项目:国家重大科学仪器设备开发专项(2013YQ030651);国家自然科学基金项目(81421004)。

通信作者:任秋实,教授,主要研究方向为生物医学成像、智能化医疗器械与装备

引言

眼睛是人体接收外界信息的主要器官,大脑中约 80% 的信息是通过眼睛获取的。同时,眼睛也是人体最重要的感觉器官之一,在人类的大部分活动中都需要用到,因此保证眼睛的健康至关重要。

视网膜眼底作为全身唯一可在活体、无创条件下观察体内丰富血管及其分布状态的组织,是诊断眼底病变以及相关的全身系统性疾病的重要窗口。因此,对眼部特别是眼底进行成像,观察并发现眼部血管和组织的病变,甚至包括和全身性疾病有关联的眼底病理变化,对临床有着非常重要的意义。

然而,传统的眼底彩照仅能显示出眼底的结构性信息,对于视网膜血管的含氧情况等功能性信息无法检测。由于视网膜具有高代谢性,需要丰富的血液提供持续的氧供应,在眼底出现病变的情况下会出现视网膜血氧代谢的异常和功能紊乱。因此,对视网膜血管内含氧水平的无创、定量测量对了解不同疾病的视网膜氧代谢变化、进行疾病的早期预警和预后跟踪评估均有着重要的科研和临床意义。然而,目前的视网膜血氧饱和度的成像所应用的探测器均为科研级的探测器,其价格昂贵,如果在大量生产的 眼底功能检测仪器中全部应用,会使得仪器成本显著提高,不利于仪器的大规模生产和销售。而且在很多实验室 研发的视网膜血氧饱和度功能测量仪器中,科研级互补金属氧化半导体(Complementary Metal-Oxide Semiconductor,CMOS)或光电荷耦合器件(Charge Couple Device,CCD) 探测器部分几乎占了该仪器设备的一半甚至更多的成本。另外,这些视网膜血氧饱和度测量仪器通常是在眼底相机等传统成像仪器上改装而来,不仅需要针对加装的科研级探测器重新设计接口、设计同步触发和采集的控制、传输软件程序和硬件连接,而且由于这些体积较大的科研级探测器是外加在原仪器之上,会使得仪器的重心和外观发生巨大改变,给医生等操作者的使用也带来了非常多的不便之处 。因此,如果能充分利用眼底相机上的数码单镜头反射式相机(单反相机)的图像检测光感受器的潜能,可以通过一次简单的传统眼底相机彩照成像,提取出绿色和红色通道下的眼底成像结果,通过分析计算得到功能性的视网膜血氧饱和度信息。本方法可以极大地降低成本, 提高性价比,简化成像系统和操作,成为上述科研级光探测器的替换产品。在保证视网膜血氧饱和度检测性能要求的同时,采用成本以量级下降的数码单反相机,会极大地促进应用眼底功能检测科学仪器的普及。

1基于双波长的视网膜无创血氧饱和度测量技术

根据 Beach 等的研究成果,视网膜血管的血氧饱和 度的无创光谱测量基于氧合血红蛋白(HbO2)和去氧血红蛋白(Hb)对不同波长光照射的吸收率不同,因此需要一个对血氧饱和度不敏感的光和对血氧饱和度敏感的光。前者即是 HbO2 和 Hb 等吸收的波长的光,例如 546 nm 波长的光 ;后者是 HbO2 和 Hb 吸收差异很大的波长的光,例如 610 nm 波长的光,如图 1 所示。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

视网膜血氧饱和度基于组织吸收光谱特性和分光光度计量技术,其与光密度值(Optical Density,OD)直接相关,OD 定义为 :D0=log(I0/I),D0 表示出射光强 I 相对于入射光强 I0 的衰减。在光密度计算中,出射光强 I 为血管内像素段的灰度最小值,而入射光强 I0 为血管外像素段的灰度平均值。血氧饱和度与不同波长下血管光密度比(Optical Density Ratio,ODR)近似成负相关线性关系,如公式 (1) 所示。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

式 (1) 中,SatO2 表示血氧饱和度,ODR 表示不同波 长下血管的光密度比,I0|546 为 546 nm 下的眼底的反射光,I0|610 为 610 nm下的眼底的反射光,I546 为 546 nm 下被血管吸收后的出射光,I610 为 610 nm 下被血管吸收后的出射光,a 和 b 为血氧值和ODR 进行线性拟合的参数。据 Schweitzer等的研究,视网膜动脉的平均血氧饱和度为 92.2%,视网膜静脉的平均血氧饱和度为 57.9%。

2基于单反相机探测器的视网膜血氧饱和度测量系统

对于单反相机探测器,其感光元件通常为 CCD 或 CMOS它们都是用光敏二极管作为光-电信号的转化元件,只能感应光的强度,无法捕获色彩信息,因此彩色 CCD/ CMOS 图像传感器必须在感光元件上方覆盖彩色滤光片。最常用的做法是覆盖 RGB 红绿蓝三色滤光片,以 1:2:1 的 构成由四个像点构成一个彩色像素。由此组成 R、G、G、 B 四色方案,此即为拜耳滤镜(图 2)。

因此,对于传统单反相机的 CMOS/CCD 感光芯片,实际上每一个像点只拍了一个颜色,四个像点才能合成一个彩色像素。故我们可以提取出单反相机的 CMOS/CCD 中由其红、绿、蓝通道滤光片获得的不同颜色通道的原始数据,如图 3 所示 。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于单反相机的视网膜血氧饱和度测量系统的硬件主体为传统的眼底相机,其光路如图 4 所示。采用近红外LED作为眼底对位的监视光源,通过二向色镜引入照明光路,不会引起眼睛对可见光的瞳孔缩小反应,用于免散瞳眼底相机。照明光通过环形光阑后,通过反射镜反射,再通过中空反射镜,经过网膜物镜后在角膜上聚焦为环形光。该聚焦的环形光通过瞳孔后发散,在眼底均匀地照明。该环形光可以有效地避免角膜的强反射光进入成像光路。从眼底反射出来的光经过网膜透镜的聚焦,通过中空反射镜 的中央小孔,通过光阑后经过调焦透镜,最终在经过一个聚焦透镜后在单反相机的 CCD 芯片上聚焦成像。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

该系统中的单反相机探测器型号为 Nikon D70,如图 5 所示 ;其感光元件为 DX 画幅 CCD 传感器,像素为 3008×2000,对应的尺寸为 23.7 mm×15.6 mm。该 Nikon D70 相机的光谱响应曲线如图 6 所示。可以发现对该相机感光 CCD 的绿色通道,其分色滤光片的带宽围绕HbO2 和 Hb 等吸收的波长的光即中心波长为 546 nm 的光而接近对称地展开 ;同时,对于红色通道,其透过带宽围绕 HbO2 和 Hb 吸收差异很大的波长的光即 610 nm 的光而近似地展开。D70 相机感光 CCD 的绿色和红色通道的光谱响应交叠的区间很小,因此,可以近似认为测量的绿色通道上有且仅有中心波长为 546 nm 的宽带绿光的光谱信息,红色通道上有且仅有中心波长为610 nm 的红光的光谱信息。单反相机 D70 这两个通道记录的视网膜成像结果中提 取出血管网即可用于血氧饱和度的计算。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

由于该系统为对眼底进行一次拍照后同时提取出绿色和红色通道的结果,因此,得到的绿光和红光照明下的视网膜血管成像结果无须再进行配准。实验室开发了一套视网膜血管血氧饱和度计算的系统基于 R2U-net 算法对血管进行有效地分割,并对血管分割的结果进行骨骼化来提取血管走向。通过八连通检测提取血管走向并区分血管主干和分支区域,接着以血管走向的垂直方向获取在 546 nm和 610 nm 波长下血管内外区域的光密度比。具体地,以血管走向的垂直方向,选取血管内区域灰度值最低的点作为血管内的光强 ;同样,在血管走向的垂直方向,取距离左右两边血管壁约一个血管宽度的两个像素点的灰度值的平均作为血管外的光强。

对于血管中心线第 k 截面上的一点P →k,令r →k和l →k分别代表其同一截面左右两边血管壁上的点,为了寻找该段血管截面的最小灰度值,则要比较垂直于血管方向的截面线上的像素点的灰度值大小,可以用公式 (2) 来表示 :

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

其中,I(m) → 表示点P →k确定的血管截面上任一点m→的像素灰度值,t 为从 0 到 1 的可变参数。通过变化 t 的值,表示在r →k和l →k之间的任一个点。通过将 t 在 0~1 之间遍历,可以找到一个位置,使得tr→k+(1-t)l →k取值最小,此即为该段血管截面上灰度值最小的像素,也即该截面血管内的光强。

同样地,对于该血管中心线第 k 截面上的点P →k,其血管外反射光强由距离左右两边血管壁各一个血管宽度的两个像素点的灰度平均值表示,可以用公式 (3) 表示 :

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

其中,D 为该点处的血管宽度,k u⊥ 为与该段血管截面方向的单位向量,表示血管壁上的点r →k往右延伸一个血管宽度 D 的位置的像素灰度值,表示血管壁上的点l →k往左延伸一个血管宽度 D 的位置的像素灰度值。这两个血管外的像素点的灰度值取平均,作为该截面上血管外的光强。血管内外像素点选取示意如图 7a 所示 ;对于一个眼底示例,血氧饱和度计算所选取的血管内外像素点 的集合如图 7b 所示。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

接着,对于该血管截面,分别取 546 nm 和 610 nm 下血管外光强和血管内光强的比值的对数,作为 546 nm 和 610 nm 下该血管截面的光密度值,通过血氧饱和度拟合公式 (1) 计算出视网膜血管的血氧饱和度结果。

3结果与讨论

实验对 12 名健康志愿者的右眼进行了基于单反探测器眼底相机的视网膜血氧饱和度测量。其中男 7 例,女 5 例,年龄(27.3±2.2)岁。典型的传统眼底相机获得的彩照如图 8a 所示,可见该健康被试的视网膜血管网清晰,对比度高 ;视盘边界清晰,形状标准,近似为椭圆形 ;黄斑位置形状结构正常。同时,在视盘和黄斑的边缘以及视网膜血管的两侧,可见因内界膜微有隆起带来的湿丝绸样反光;在视盘的鼻上、鼻下方向也依稀可见一些深层的脉络膜血管红色反光(图 8a)。

通过 ImageJ 软件导入该眼底成像结果彩图,可以提取出其绿色和红色成像光谱信息,如图 8b 所示。可以看到,在 546 nm 为中心波长的绿色通道中,由于 HbO2 和 Hb 为等吸收,故成像结果中视网膜动静脉血管的颜色灰度很接近 ;在近似 610 nm 为中心波长的红色通道中,由于 Hb 比 HbO2 吸收系数高很多,因此静脉血管颜色灰度更深,而动脉血管偏亮,在成像结果上接近“透明”的效果。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于单反探测器眼底相机的视网膜血氧饱和度测量结果如图 9 所示。以视盘中心为圆心,对 1.5 倍视盘直径和 3 倍视盘直径的两个同心圆之间的血管段进行分析。这样做可以避开视盘内较密的血管区域以及避免视盘区域的高反射率影响,保证应用血氧计算算法得到的血氧饱和度值准确可靠。对于该名被试,得到平均的视网膜动脉血氧饱和度为 91.2%,平均的视网膜静脉血氧饱和度为 60.7%。

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

为了评估系统的重复性,我们对每名被试的右眼都连续拍了 5 张眼底彩照(每张之间的闭眼休息时间约为 2 min),对所有被试进行 5 次重复测量的平均视网膜动脉血氧饱和度为 91.6%±2.5%,平均视网膜静脉血氧饱和度为 58.1%±3.1%。分别统计每名被试在 5 次连续测量结果中的视网膜平均动脉和静脉的血氧饱和度值的标准差,记 SDA1, SDV1, SDA2, SDV2, …, SDA12, SDV12。接着,统计得到一共 12 名被试的视网膜动脉的标准差 SDA1~SDA12 的平均值 为 2.3%±0.5%,视网膜静脉的标准差 SDV1~SDV12 的平均 值为 2.8%±0.9%。可见本系统对视网膜的动静脉的血氧饱和度测量的标准差较小,表明系统的测量重复性较好。

需要说明的是,基于单反探测器眼底相机的视网膜血氧饱和度测量要想达到较好的准确度和重复性,需要尽量保证相机的感光元件的绿色和红色通道的光谱响应的重叠区间尽可能地少。这样才可以使得记录的绿色通道上的信息尽可能地只包含中心波长为 546 nm 的 HbO2 和 Hb 等吸收点绿光的光谱信息,尽可能地排除 HbO2 和 Hb 吸收差异很大的红光光谱信息 ;同时记录的红色通道上的信息尽可能地只包含中心波长为 610 nm 的红光的光谱信息,尽可能地排除等吸收点绿光的光谱信息,这样才能保证基于光密度比计算血氧饱和度的准确性。因此,要想实现基于眼底相机的单反相机的 绿红通道进行血氧饱和度测量,对眼底相机中单反相机的选择非常关键,要仔细考察其光谱响应的绿、红色通道的重叠情况。同时,由于视网膜血氧饱和度测量的影响因素较多,比如被试的眼底相对位置(视盘在边缘还是中央),不同象限内血管的血氧值的轻微变化,血管直径大小对血氧值的轻微影响以及被试的视网膜成像结果上是否有较明显的湿丝绸状反光和色素上皮层变薄导致的较明显的脉络膜血管网,这些因素都会对最终的血氧结果有一定的影响。故在实验中建议统一成像的条件和标准,并对明显受到背景中诸如湿丝绸状反光或脉络膜血管反光影响的血管段部分进行排除,在成像结果中用 1.5 倍和 3 倍视盘直径区域内的动静脉血管段的血氧饱和度结果分别取平均值

进一步地,如果有某型数码单反相机,其感光芯片的蓝色通道的光谱响应信号与绿色、红色通道的交叠、串扰极少,可以实现一次白光 LED 光源拍照,同时获得更注重对视网膜表层如神经纤维层成像的蓝光通道结果,并将其应用于炫彩合成图像及进行可能的三波长校准视网膜血氧饱和度功能成像。

4结论

本文提出了一种基于单反相机的视网膜血氧饱和度无创测量系统。该系统基于传统的眼底相机,针对单反相机 D70 较理想的光谱响应曲线,通过提取出其绿色和红色通道记录的视网膜成像结果,即可用于功能性的血氧饱和度的计算。本文提出的视网膜血氧饱和度计算系统无需对传统眼底相机进行复杂、昂贵的改装,充分利用了眼底相机上的数码单反相机的图像检测光感受器的不同颜色通道的滤光带宽差异,挖掘了其应用潜能。相对目前的商用和实验室的视网膜血氧检测系统,本文提出的方法无须科研级光电探测器,可以极大地降低成本,提高性价比,并简化成像系统和人员操作。对健康人眼进行重复性测量,视网膜动静脉血氧饱和度平均值分别为 91.6% 和 58.1%,视网膜动静脉标准差的平均值分别为 2.3% 和 2.8%,均在 3% 以内,表明该基于单反探测器眼底相机的视网膜血氧饱和度测量系统的测量重复性良好,具有继续研究和应用推广的潜力。同时,本文提出的方法和系统为廉价版的视网膜血氧饱和度检测分析仪提供了新的思路,也探讨了对传统的只能进行结构性检测的眼底相机进一步整合功能性视网膜血氧饱和度信息检测的方法和潜能

本研究取得了一些初步结果,在后续研究中,需要针 对更全面的背景描述数据,对更多的健康和有眼疾的被试, 进行更详细和更深入的不同条件下的多参数关联分析研究。

本文来源:《中国医疗设备》2020年第35卷03期

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

欢迎扫码加入大医疗粉丝群

基于光场相机的超分辨率成像,基于双目视觉的图像测量技术

大医疗粉丝群二维码