【医学影像】《Identifying Medical Diagnoses and Treatable Diseases by Image-Based Deep Learning》论文笔记

这篇论文的作者是张康教授为首的团队，联合国内外众多医院及科研机构，合力完成，最后发表在cell上，实至名归。

从方法的角度上来说，与上一篇博客中的论文很相似，采用的都是InceptionV3模型，同时都用了海量的数据，而海量的数据，也是我认为这两篇文章的最主要贡献。

【论文出发点】视网膜疾病困扰着成千上万人，而针对视网膜疾病的OCT技术有着大量数据，这为医生诊断带来巨大工作量，研制可媲美专业医师水平的AI系统可带来巨大便利

【论文核心】在两种不可逆的常见致盲性眼病：黄斑变性和糖尿病性视网膜病中，引入InceptionV3网络进行分类，可到达专业医生水平，具体流程图如下

【论文贡献】1.收集并标记10万张OCT图像

2.利用在ImageNet上预训练的InceptionV3进行迁移学习，训练OCT图像

3.进行遮挡实验，增加网络的可解释性

4.在X光图像上进行类似实验，证明设计的系统的通用性

下面针对这四点贡献分别解释。

1.作者首先收集了207130张OCT，但是只有108312张通过审核（具体审核标准是什么呢），其中choroidal neovascularization37206张，diabetic macular edema11349张，drusen8617张，normal51140张，这些数据来自4686个病人，那这些数据是如何标记的呢，如此大的数据量？

2.网络的训练，用论文中的两张图可很好诠释

首先是在Imagenet上预训练，模型画的略有问题，因为显然全连接是不够的

然后，迁移到OCT数据上进行微调（坦白讲，有这麽多数据完全可以对整个网络都进行调整，而不是只调整最后几层）

可以看到，输出类别共有四类，从上到下依次是脉络膜新生血管，糖尿病黄斑水肿，脉络膜小疣和正常。关于模型，就没什么好说的了。

3.遮挡实验

对上百块区域逐个遮挡，即用空白图像替代，观察分类概率的下降，对下降影响最大的，即为病灶区域，下图中发光的区域即为遮挡实验得出的病灶

4.在X光上的泛化实验

作者收集5232张X光图像，其中3883张是肺炎（2538张为细菌性，1345张为病毒性），其余1349张为正常。作者进行正常VS肺炎，细菌性肺炎VS病毒性肺炎的二分类实验，三种图像如下

【实验结果】

具体实验时，作者将 choroidal neovascularization和diabetic macular edema归为urgent referrals，即紧急转诊，需要立即由眼科医生给予治疗，一旦耽误将有致盲风险，同时将drusen归为routine referral，情况没有前者那么紧急，另外，将normal归为observation。

针对是否为urgent referral有如下的roc曲线，其中limited CNN指的是仅用1000张图片训练的结果，效果很好，可见迁移学习的威力，不然1000张图片的效果很难将inceptionV3训练的这么好

下面是四种类别的混淆矩阵，可以看到误分类的情况很低

同时作者还设计了choroidal neovascularization VS normal，diabetic macular edema VS normal，drusen VS normal三种二分类器，AUC分别达到100%，99.87%，99.96%，相当惊人。

此外，由于漏诊和误诊的代价不同，即误将病人诊断为紧急转诊，会带来不必要的诊治，但是没能识别出需要紧急转诊的情况可能带来不可逆的视力问题，所以需要为这两种情况赋予不同的权重，加权后的错误率如下

在肺炎上的表现如下，左边是正常VS肺炎，右边是细菌性肺炎VS病毒性肺炎，分别达到96.8%和94%的AUC值