公开课演讲实录 | 刘江:智能眼科图像研究

2020-08-19

导读:为发挥多学科综合交叉,引领前沿的科学家品牌,推动人工智能赋能地方传统产业转型升级,促进人工智能创新融合发展,中国人工智能学会结合吴文俊人工智能科学技术奖成立十周年主题活动,联动吴文俊人工智能科学技术奖办公室和吴文俊人工智能科学技术奖评选基地发起主办“人工智能产学研创新融合科普公开课”。第五期公开课已于2020年7月11日晚上19:30-21:50(北京时间)进行了线上直播。“科普公开课”采用单位推荐及专家报名的并行方式,邀请了刘江老师等国内知名行业企业、科研院所及医疗机构专家参加在线视频论坛,五位重量级嘉宾分别作了专场报告,干货满满。

以下为刘江老师讲座内容:

我从科研机构及大学观点分析智能眼科图像研究,同时重点介绍一下iMED团队在过去12个月的工作。iMED团队2007年创建于新加坡,在2016年我们在中科院成立了iMED宁波,2019年在南科大成立了iMED深圳,我们大约有60-70名科研人员专注于眼科人工智能算法研究。

具体来说,陈主任之前也提过,我们iMED团队会采取各种仪器对眼科的各种部位进行图像获取,之后通过开发图像处理的算法、人工智能算法对各种图像中的特征、病灶进行分析及量化,进而辅助企业进行筛查及医生诊断。

在过去的这些年中,我们总结了一套眼科图像人工智能研究的步骤,我们将其定义为6+4+4。我们会跟临床医生紧密合作,从临床医生的临床问题中发现科学问题,同时就科学问题提出科学假设,设计科学实验,同时验证假设。
           

这六步思维中的第五步跟第六步,我们更多的是和企业合作做技术转化,跟临床机构合作完成临床落地。当开发一个人工智能眼科图像算法,我们必须能够解决医疗的全流程——算法必须能在筛查、诊断、治疗、愈后四个方面进行探索和工作。

在过去的十几年中我们六七十个人专注于四个核心方向:

第一,用人工智能算法做眼科疾病筛查。

第二,结合医疗图像与基因数据分析做精准医疗的诊断。

第三,开发各种算法做手术的辅助、评估及规划。

第四,专注于眼脑疾病的联合研究。

01  基于杯盘比的青光眼筛查与诊断

下面我就四个问题给大家介绍一下如何通过6+4+4的方法进行智能眼科图像研究,首先介绍的是基于杯盘比的青光眼筛查与诊断。之前陈教授也介绍过,青光眼是视觉的小偷,在我们团队接下来会做报告的百度的许言午博士,曾经在我们iMED团队工作了很久,很多这方面的基础工作都是他多年前参与做的。我们发现青光眼患者与正常人的眼相比,视盘结构有很大的不同。这边可以看到视杯、视盘,中间就是我们的视神经。我们希望能够对视杯、视盘进行定位分割,然后算出视杯和视盘的直径比,进而通过关联数字实现青光眼的诊断与筛查。

在新加坡团队多年的工作基础上,2018年付华柱博士发现由于视杯、视盘在普通欧氏空间上的重合度比较高,且面积差异比较小,所以他通过了坐标变换把图像变换到极坐标上,同时结合深度学习的方法,结合多尺度及多标签的方式尽可能提高了杯盘比分割的准确率,在多个青光眼眼科数据库上进行测试,在我们经常用的新加坡华人眼科研究SCES数据库上实现了青光眼检测的AUC0.90。

付博士又进一步发现基于杯盘比或者CDR的方式忽略了图像的全局变化,现在崛起的深度学习算法更加倾向于一个端到端的诊断方法。但我们团队认为不能简单的做一个系统,也需要基于临床方式进行结合,所以我们在上半部做端到端的从图像到青光眼的检测,下半部还是基于杯盘的边界分割,之后我们把这两个算法模块进行融合达到了青光眼检测的AUC0.918。

02 基于视网膜血管形态的疾病筛查与诊断

接下来介绍第二个问题,之前杯盘比主要是基于眼底图像的结构分析,我们想把研究进一步精细化,我们发掘视网膜的血管形态与眼科疾病有很大的关联性。具体来说它与糖尿病、高血压有天然性的联系,也跟其它的疾病有一些关联度,我们如何提出假设呢?我们发觉可以对视网膜血管进行提取,并且实现血管的动脉、静脉分类,通过计算动静脉管径比数值寻找它与疾病之间的关联性。我们团队的赵一天博士发现在杯根盘的近距离动静脉比较容易分割,但在远距离动静脉的衍射差异比较小,单纯依靠传统衍射信息难以实现血管分类,所以就提出了一种基于优势集聚类的视网膜血管拓扑结构进行动静脉的分割。

为了证明算法的有效性,我们在五个公开数据集上进行了验证,同时我们团队联合医生手工标注了血管拓扑结构,在我们的团队网站(www.imed-lab.com)上进行开源,方便全世界的科研人员共同使用和检测。团队的谢建阳同学更进一步拓展了这个研究,刚才陈教授也提到OCTA成像,OCTA是近代一个比较先进的成像技术,但OCTA图像缺少分类亮度信息,没有办法直接实现动静脉的分类,这边可以看到OCTA的图像,所以我们就提出了基于拓扑信息传递的方法,通过眼底彩照引导进行OCTA血管动静脉的分类。我们在国际上首次提出了基于拓扑结构的OCTA动静脉分类,由于这个方向做的人非常少,我们标注了OCTA血管动静脉标准库,并在网站上进行开源,方便其他科研人员共同使用。

03  基于角膜神经形态分析的疾病筛查与诊断

刚才介绍了基于结构的青光眼杯盘比计算、基于视网膜血管形态的疾病筛查,我们进一步希望看到更细节的图像信息,我们把注意力集中在了眼睛的神经系统上。我们开始观测角膜神经形态的分析与疾病之间的关联度,我们发现角膜神经的形态与多种疾病存在关联,但如何量化这种关联呢?我们通过量化角膜神经的弯曲度,寻找这个弯曲度与各种疾病的关联性,在临床上大家可以看到临床医生更多是通过主观经验方法对弯曲度的一二三四进行分类,我们希望通过人工智能跟一些图像处理方法把弯曲度分类更加精确化、量化。

团队的牟磊同学发现简单现在的神经网络算法忽略了像素间的相似性和特征曾之间的相关性,他提出了CS-Net算法,着重于分析特征通道的注意力和空间位置,利用这些信息达到了神经的准确分割。另外由于数据量不足,很多人都把注意力集中在通过生成对抗网络提供更多的数据,但生成对抗网络缺乏对局部细节的有力约束,不适合角膜神经细节结构,难以保证产生稳定可靠的高质量图像。

团队的马煜辉博士生提出了针对光照正则化和结构损失的方法构建了CSI-GAN模型,兼顾了增强图像的光照均匀性和结构完整性,大家可以看到这是原始的图像,这是经过CSI处理之后的图像增强效果。

04  基于眼前节的结构分析与疾病筛查

前面介绍了基于结构、基于血管及神经的逐步细化分析的过程,最后我介绍一下基于眼前节的结构分析与疾病筛查,现在很多人工智能算法都集中在眼底,其实眼前节与很多眼科疾病有非常大的关联度。右边是致盲的六大疾病,其中第一大是白内障,这主要是由于眼前节的晶体浑浊,屈光疾病及角膜受损主要是角膜疾病,而青光眼经常通过判别前房开角、闭角得到体现。我们希望能够精确量化前节的各种结构参数,进一步发现疾病的发病机理和提出基于结构的筛查和诊断算法。

团队的付华柱博士发现现在结合手工特征与深度学习特征、多区域信息可以进行情况眼疾病的筛查,所以就提出了基于多区域深度网络的AS-OCT青光眼筛查算法,融合了全局信息与局部信息。这边可以看到在前节OCT图形下我们通过全局信息自动生成临床上所需要的参数,同时通过多区域、多尺度、端到端的深度学习网络,构建青光眼的预测系统,之后我们再把这两个模块进行融合生成更加准确的筛查方法。

团队的郝晋奎同学发现,以前仅仅依靠二维图像其实缺乏了眼部前节的空间立体信息,导致了很多在青光眼,特别是闭角型青光眼判断时的不足,所以他提出了基于前节OCT的三维虹膜表面重建量化的框架,这边可以看到前节分割及进行建模、量化、特征提取。试验结果表明三维虹膜分割跟表面重建方法是有效的,基于三维的特征提取在青光眼闭角型检测中具有更好的性能。

通过与临床医生更紧密的探索,我们发觉在前房角开跟闭的过程中还有一类对于临床医生都非常难判别的一个状态叫粘连态,它本身不是闭,但是上下结构粘连了,你加以外力之后它会打开,这对很多专业眼科医生都是非常难以判断的,我们接受这个挑战,利用人工智能的方法进行房角的三分类,即:开、粘连、闭判别,以利于临床医生更好了解闭角型青光眼的状态。

团队的郝华颖同学提出了一种基于序列多尺度聚集深度网络SMA-Net。具体来说这边序列图像用二维图像序列搭建了一个三维结构,输入到我们能够处理多尺度聚集深度神经网络里面,再加以能够处里序列的LSTNM网络,通过多种网络结构共同实现前房角的三分类。

下面我们介绍一下我们前节基于晶体分割的工作,我们知道白内障主要是由于晶状体的浑浊,我们希望开发我们的技术去产生一些技术转化和临床实际应用。我们的合作伙伴曹桂平工程师通过掩膜实现晶状体的分割,以及晶状体的内部细结构的分割。为方便系统集成,我们构建了轻量级深度分割网络,来此实现晶状体结构分割。在分割速度跟准确率上做到了比较好的平衡并完成了技术转化。下面我给大家看一下视频。

(VCR)我们首先通过前节OCT获取前节OCT图片,之后通过算法对晶体进行粗分割,之后再利用更精密的算法对晶体细节结构进行分割、量化、计算,计算出来的结果会把晶状体的浑浊度用不同的颜色进行表征,最后我们会产生临床报告,会把白内障分型成属于核,皮质和后囊的白内障,以及在每个白内障分型中,它具体属于1-5级的严重程度计算出来提供给医生和病人,方便医生和病人做下一步的判断及手术规划。本项目是由南方科技大学、日本多美公司、中山大学中山眼科中心及广州视源科技联合开发。

以上我介绍了iMED团队的一些工作,我们团队希望在过去、现在跟将来都能够专注于眼科人工智能开发和利用,不断深化基础研究、建立核心竞争力,希望为医学临床及企业进行服务。以上就是我的报告内容,谢谢大家。