学生开发者勇担青年使命，用AI守护少数人的“视界”

本文分享自华为云社区《【先锋开发者云上说】学生开发者勇担青年使命，用AI守护少数人的“视界”》，作者：华为云社区精选 。

青年动人之处，在于他们的勇气，和非凡的创造探索精神。

有这样一群00后学生开发者、，他们用AI探索医疗领域的技术创新，为少数群体守护光明。

在刚刚结束的2023华为开发者大赛全球总决赛上，他们一路过关斩将，凭借AI眼部医疗辅助诊断系统获得了中国赛区学生赛道全国一等奖的铜奖。

如果早一点，人们眼里光就多一点

孙洋今年大三，是电子科技大学成都学院人工智能专业的一名学生，他很喜欢这个伴随着AI技术浪潮而起的新兴专业，常常泡在学校实验室里研究神经网络、深度学习、图像识别、人机交互等各种技术。直到一次比赛，孙洋无意中接触到一个医疗辅助诊断系统的项目，顿时兴趣高涨。

“我就想基于最初的原型，结合AI技术把项目进一步扩大。”在这个过程中，孙洋找来了几个志同道合的小伙伴，正式组建了“融创眼援”团队，即用融合创新的技术“援助”那些患有眼部疾病的群体。

孙洋选择做这个项目的初衷，既是为了研究图像识别技术在医疗领域的应用，更是考虑到宏观的社会现状和市场环境下，眼健康行业中普遍存在缺乏早筛且资源分布不均的问题，“如果能早一点，那么人们眼里的光就多一点”，他们渴望用学到的技术去做一些实事，为这个世界带来一点改变。

接入上云，项目加速

团队成员先是去学校的合作医院走访调研，从与眼科医生的访谈中抽象出项目的数据模型逻辑，随着调研的深入，他们发现做医疗项目最棘手的就是数据隐私安全。由于医疗数据的特殊性，患者的病史数据难以在各个医疗机构共享，不可避免形成“数据孤岛”的局面，从而导致医疗资源的浪费，也让医生难以全面了解患者情况，难以做出正确的诊疗决策。

介于医疗数据的特殊性，孙洋和团队选择采用联邦学习的训练框架，将敏感的眼部影像数据保存在本地，把数据训练出来的模型参数上传到云端，来保证模型的效果。

但对于学生开发者来说，上云面临着巨大的成本压力。此时，孙洋在学校论坛上看到了华为开发者大赛的消息，当即决定带着团队试一试。报名成功后，孙洋很快申领到了一定数额的上云代金券。

他们先是用华为云云耀服务器搭建了一个底座，本地通过SSH连接到云服务器，配置好联邦学习需要的基本网络设置，以及依赖库，将模型参数传到云上的数据库，团队成员都可以直接访问下载，进行新的训练和计算，再将新的模型参数更新到云端，提高模型的准确率。

“最开始我们在做云端系统搭建的时候，完全摸不着头脑。好在华为云官网上的技术文档非常详细，再加上华为云社区其他开发者分享的详细教程，跟着一步步做基本上没问题。之前我们在本地构建数据库管理数据也挺麻烦的，但在云上一键就能完成，省时省力。”孙洋提到，在华为云的支持下，他们基本上实现了零成本的接入上云，从而能更顺利地推进整个项目。

在数据训练方面，最初孙洋也只能用自己的电脑来跑，后来借助华为赠送的昇腾Atlas 200I DK2开发板，得以快速高效地在本地完成模型的训练，然后再将数据传回电脑和云上，既节省了一定的硬件成本，也缩短了他们的研发周期。

从实践中来，创新的多模态融合

在和医生的交流中，孙洋观察到他们在实际诊断中，不仅仅要仔细查看病人的眼底影像，而且要综合病人的的其他病理检查结果，才能得出一定的结论。

孙洋举了个例子，假如一个患者患有糖尿病视网膜病变，血糖的升高会导致他眼球血管里面的渗透压增大，医生要去检查他眼球血管是否有增生或者阻塞。但单从一张眼底彩相只能看到血管的分布，医生还需要查看患者拍摄的 FFA（荧光素眼底血管造影技术）的图像，了解血管的流向，并综合患者的血糖、日常饮食习惯等其他情况，来给出最终的诊断结果。

“于是，我们就做了多模态数据的融合，将眼底图像、FFA图像、OCT图像和检测数据转化成向量，并对不同的数据类型进行权重分配，加入到神经网络里面来实现融合诊断。”

由于获取到的医疗数据有限，孙洋和团队对既有的数据进行增强来提高模型的准确率；并自主研发了基于超参数的改进TransCNN模型，试验结果的准确率高达97.48%，在500例与专业医师诊断结果对比中，差异率也控制在3%~5%之间。

为了让医生能够更高效得使用这套AI辅助系统，他们还创新研发了一体化图像处理技术，包含有血管分割、分类检测、自动标注、表格统计四大功能，满足了医生的绝大多数需求。

从确定产品规划、实现核心算法突破到与相关医院取得意向合作，对标一线完善系统定位与设计，历经一年的攻坚克难，融创眼援开发出了基于多模态的眼部医疗辅助诊断系统。

“现在，医生只需上传患者的影像资料，我们的眼部辅助诊断系统可在8秒内实现自动标注并给出影像诊断意见，随后生成病情报告，在单一病种诊断上对比专业医生，准确率高达97.48% 。”

让源源不断的创意变为现实

团队下一步的方向是将二维眼底图像转化成3D模型，可视化模拟真实的眼球血管走向，再借助传感器来实现手势识别，结合华为云的语音识别服务，开发出更高效的可视化交互诊断系统，这样医生就可以直接在这个3D眼球上进行观察或者手术模拟等。“类似于元宇宙医疗的概念”孙洋补充道。

回顾参赛以来的种种经历，孙洋心有戚戚，“就像打开了新世界的大门，因为之前参加的一些比赛都很看重表面工作，但华为开发者大赛评判作品的首要标准是技术创新，对于热爱技术的我们来说特别友好。而且华为云的很多产品有详细的学习路径和教程，即使和自己专业无关，我们也可以去玩一玩、学一学。”

当接触学习的内容多了，这群学生开发者经常会冒出各种新奇的想法，如孙洋所说，“脑子里就像有一台计算机，想去尝试各种新兴前沿的技术，比如我们现在对脑机接口很感兴趣，在想是不是可以通过它让抑郁症患者重回正常生活……”

开发者，是用代码改变世界的人。他们写下的每一行代码，开发的每一款应用，都有可能成为驱动创新的重要源泉。华为云予力学生开发者追求AI医疗技术创新，帮助他们脚踏实地去实现梦想，让源源不断的创意变为现实。

点击关注，第一时间了解华为云新鲜技术~