沈阳-田捷-医学影像中的AI算法.pptx

沈阳-田捷-医学影像中的AI算法.pptx

《沈阳-田捷-医学影像中的AI算法.pptx》由会员分享，可在线阅读，更多相关《沈阳-田捷-医学影像中的AI算法.pptx（75页珍藏版）》请在冰点文库上搜索。

医学影像中的AI算法和研究热点,田捷，Ph.D.AAAS，ISMRM,IEEE,SPIE,AIBME,WMIS,OSA,IAPRFellow2020年12月5号,第4届图像计算与数字医学国际研讨会,人工智能发展,AI1.01950s1980s,AI2.01980s2010s,AI3.02010s现今-SanjivSamGambhir,StanfordUniversity,WMIS2018,人工智能与深度学习,AI（人工智能）：

使计算机做人类认为智能的事情,ML（机器学习）：

从数据中快速、自动化构建算法NN（神经网络）：

更为强大的机器学习DL（深度学习）：

由众多感知层构建的神经网络,-SanjivSamGambhir,StanfordUniversity,WMIS20183,CTMRI,超声,基于医学影像大数据的局部维度研究,影像不只是图像，更是大数据512个像素512个像素,200个断层,一个病人52,428,800个体素,有机组合多类特征,1千到10万个影像特征,Radiology.2016;278

（2）:

563-577.CACancerJClin.2019;69

（2）:

127-157,形状特征频域特征强度特征深层特征纹理特征经验特征,人工智能显著提高图像重建质量,人工智能,数据,图像,知识,智能重建,基于人工智能的影像重建可以显著提高成像质量,智能重建关键技术深度学习MRI重建（1/3）,K-空间图,MRI影像,复杂频域到时域变换方法,传统MRI重建受到大量降采样及噪声等干扰BoZhu,etal.Nature2018555:

487-492,图像流形生成网络,图像流形变换网络,智能重建关键技术深度学习MRI重建（2/3）,人工智能MRI重建克服信号采集失真提高重建质量,智能重建关键技术深度学习MRI重建（3/3）,人工智能MRI重建显著提高影像质量BoZhu,etal.Nature2018555:

487-492.,深度学习智能光学重建,训练样本,BLT/FMT智能重建网络,活体光学三维重建,光源位置没有复杂物理过程的简化数学模型Y.Gao,etal.,Optica,2018;5（11）:

1451-1454.（SCIIF=7.536）,人工智能加速获取临床大数据信息,数据人工智能,图像,知识,影像组学,报告内容,基于人工特征的影像组学分析,基于深度学习的影像智能诊断,特异性新型卷积神经网络模型,医疗人工智能的前沿热点方向,影像组学概念微观的基因或蛋白质模式改变在宏观影像上有所表达，通过深度挖掘影像特征，可以反映人体组织、细胞和基因水平的变化,ClinRad2010EJC2012医疗影像数据,MRI2012定量特征提取,Nat.Comm.2014人工智能模型,影像组学结合医学影像、基因和临床大数据，利用人工智能方法高通量地提取并分析肿瘤信息，为临床提供辅助决策支持概念提出概念完善试点应用临床热点,CACancerJClin.2019临床辅助决策,13,人工智能辅助疾病的临床诊疗,多组学大数据,影像特征,诊疗应用,疾病大数据人工智能模型,精准诊断预后预测治疗选择,影病像理（形基态因与）分组型学,影像组学的概念,影像组学关键技术,面对系列临床问题，影像组学采用人工智能等方法进行分析研究以实现临床辅助决策影像分割特征提取特征降维模型构建,强度,形状,纹理,小波,病变分期,预后分析,辅助诊断,临床,空间映射,神经网络,递归排除,图割算法,区域生长稀疏选择病变分型,水平集,分水岭,多模态医学成像,诊断不准确雾里看花,肿瘤部分信息管中窥豹,穿刺生化检验,基于日益增长的医疗影像大数据如何研发智能诊断方法逼近病理,术前影像诊断的挑战性问题,医学影像大数据驱动的空间维度研究,个体,组织-器官蛋白RNADNA,医学影像大量,特征,病理基因分析,结果,人工智能构建关联,人工智能定量分析医学影像大数据,辅助疾病精准分型诊断（逼近病理/基因分析）,宏观到微观,外部环境各种行为,医学影像大数据驱动的时间维度研究,组织-器官,生物体,医学影像大量特征,治疗与随访结果,人工智能构建关联,治疗到预后,人工智能定量分析医学影像大数据辅助疾病个体化治疗和精准预后预测,影像组学关键技术特征提取,GLCM,GLRLM,GLSZM,NGTDM,将计算机定量特征、经验特征、文本信息、基因信息和病理信息相结合，全面量化肿瘤异质性。

强度,形状,纹理,小波,影像组学提取高维量化特征,医生分析形状：

不规则边缘：

较模糊长径：

36.7mm,实际预后：

好（术后70个月未复发）,医生分析形状：

不规则边缘：

较模糊长径：

37.2mm,男/77岁，IB期,男/72岁，IB期,灰度直方图特征,灰度直方图特征,实际预后：

差（术后19个月复发）引自广东省人民医院刘再毅教授Radiology.2016;281:

947-957,源于临床,高于临床,回归临床,面向重大疾病精准诊断、疗效评估和预后预测临床挑战,Ebiomedicine,2018（36）;Ebiomedicine,2019（40）;Ebiomedicine,2019（46）Ebiomedicine,2019（50）;Ebiomedicine,2020（56）;Ebiomedicine,2020（58）,以人工智能技术为手段，实现对疾病发展演进在分子细胞水平的定量分析，辅助临床诊疗,提出多尺度多模态信息融合的影像大数据智能分析方法,显著提升影像辅助重大疾病诊疗准确性，改善患者预后,总体研究思路,局部晚期宫颈癌治疗前难以预测新辅助治疗疗效,临床问题,应用效果,临床数据,275例新辅助化疗前宫颈癌多中心多序列MR影像,实现局部晚期宫颈癌患者新辅助疗效精准预测,智能方法,多序列、多区域MR影像组学特征进行智能分析,智能方法临床应用新辅助治疗效果评估,与南方医院合作（硕士生孙彩霞发表的一作文章）CaixiaSun,etal,Ebiomedicine，2019.7.SCIIF（2019）:

5.736.中科院一区Top,国际同行评价专题评述,该研究表明在多中心验证影像组学模型是可行的，该工作将促进影像组学的临床应用转化。

期刊专题评述：

Multicentricvalidationofradiomicsfindings:

challengesandopportunities,HattM,LuciaF,SchickU,VisvikisD,Ebiomedicine,2019,47:

20-21,被引文章:

7CaixiaSun,etal,Ebiomedicine,2019,46:

160-169.SCIIF:

5.573,DimitrisVisvikis教授法国国家健康与医学研究院Brest医学图像处理实验室主任IEEENPSS主编,孕妇剖腹产前难以预测产后是否会出现出血,临床问题,应用效果,临床数据,298例有胎盘增生的孕妇产前MR影像,实现孕妇剖腹产后是否发生出血的精准预测,智能方法,MR影像组学特征对多中心T2WI序列进行智能分析,智能方法临床应用孕妇产后出血预测,与河南省人民医院合作QingxiaWu,etal,Ebiomedicine,2019.12.SCIIF（2019）:

5.736.中科院一区Top,国际同行评价专题评述,使用AI技术的影像组学方法正在胎盘MR技术上广泛应用，欢迎其他类似的经验来验证这种新方法。

期刊专题评述：

TheneweraofadvancedplacentaltissuecharacterizationusingMRItextureanalysis:

Clinicalimplications,RomeoV,MaureaS,Ebiomedicine,2020（51）,被引文章:

1QingxiaWu,etal,Ebiomedicine,2019,50:

355-365.SCIIF:

5.736,MaureaSimone教授意大利那不勒斯费德里克二世大学生物医学系教授,肝静脉压梯度梯度的测量具有侵入性,临床问题,应用效果,临床数据,385例经肝静脉压梯度测量的多中心肝硬化患者CT图像,外部队列验证预测模型的精度和可靠性,智能方法,自动提取肿瘤区域海量组学特征评估高压风险,智能方法临床应用肝硬化门脉高压预测,与兰州大学第一医院合作FuquanLi,etal,Ebiomedicine,2018.10.SCIIF（2019）:

5.736.中科院一区Top,难以在初始治疗前对鼻咽癌的远处转移风险进行评估,临床问题,应用效果,临床数据,176例患有鼻咽癌的患者的MR影像数据,实现治疗前对鼻咽癌患者远处转移风险的精准预测,智能方法,定量影像组学特征对图像进行智能分析,智能方法临床应用远处转移风险评估,与暨南大学第一附属医院合作LuZhang,etal,Ebiomedicine,2019.1.SCIIF（2019）:

5.736.中科院一区Top,术前难以评估脑膜瘤患者的脑侵袭风险,临床问题,应用效果,临床数据,1728例术前脑膜瘤患者的多序列MR影像,实现脑膜瘤患者脑部侵袭风险的精准预测,智能方法,分析定量影像组学特征与脑部侵袭的潜在关联,智能方法临床应用脑部侵袭风险评估,与兰州大学第二医院合作QiYang,etal,Ebiomedicine,2020.8.SCIIF（2019）:

5.736.中科院一区Top,报告内容,基于人工特征的影像组学分析,基于深度学习的影像智能诊断,特异性新型卷积神经网络模型,医疗人工智能的前沿热点方向,基于深度学习的影像分析,具有较强的可解释性，但灵活性较低、依赖专业知识,GLCMGLSZM,GLRLMNGTDM,人工定义特征使用人工定义的图像特征描述肿瘤，构建分类器进行预测,深度学习模型通过端到端的神经网络模型，从数据中自动学习特征进行分类预测,从数据中自动学习自适应的特征，模型设计更灵活,55,5,53,30,利用深度学习减少对人的依赖,深度学习降低了人工输入的不确定性，但提高了对输入数据数量的要求超声图像数据量大，数据类型多,超声影像组学：

深度学习,31,研发深度学习方法智能分析两类超声图像,静态图像人工智能分析,B超图像,弹性图像,动态视频人工智能分析,B超视频,造影视频,32,深度学习模型算法创新静态图像分割,+区域预测一致性学习,局部注意金字塔算法深层局部注意金字塔神经网络模型,（PLANet）,心尖视野缺失,心肌低对比度,视野内高噪声,多个超声数据集中分割精度与专家手动分割近乎一致MedicalImageAnalysis.2020,accepted.（SCIIF:

11.148）,心脏左心室&心肌层自动分割,33,深度学习模型算法创新动态视频追踪（1/2）,单样本可变形卷积+无监督高泛化训练,级联孪生网络结构+级联单样本可变形卷积神经网络模型,（COSD-CNN）,对超声视频中的肝癌实现高精度的实时自动追踪MedicalImageAnalysis.2020;65:

101793.（SCIIF:

11.148）,34,应用效果,智能方法,肝癌患者TACE治疗后的预后差异大，缺乏有效预测手段,临床中山大学一附院，130例肝癌数据患者术前超声造影动态视频,肝癌患者TACE术后4周的预后预测精度：

AUC=0.93,3DCNN，同时进行视频数据中时空特征的自动学习,临床问题,超声影像组学精准预测肝癌TACE治疗预后（1/3）,EuropeanRadiology.2020;30（4）:

23652376,人工智能将超声动态视频转为直观分类视频（2/3）,35,TACE病例1,TACE病例2,客观响应患者,超声造影,人工智能可视化,常规视频难以分类,治疗无响应患者,转化视频明显分类,36,人工智能将超声动态视频转为直观分类视频（3/3）,客观响应患者：

红色区域早于蓝色区域出现,无响应患者：

蓝色区域早于红色区域出现,37,人工智能将超声动态视频转为直观分类视频（4/4）,临床医生依据人工智能转化的视频进行预测,AI预测精度R-Bmode:

0.80R-TIC:

0.81R-DLCEUS:

0.90,医生预测精度,DoctorA:

0.83DoctorB:

0.81两位超声科医生具有10年的经验差距.,EuropeanRadiology2020;30（4）:

2365-2376,应用效果,临床数据,智能方法,早期肝癌患者针对射频消融治疗和肝切治疗，如何选择？

中山大学一附院，214例RFA+227例SR，术前超声造影视频+2年以上预后随访,17%的RFA患者和25%的SR患者应该互换治疗方式,3DCNN+VLAD+Cox回归，CEUS时空特征关联预后结果,临床问题,FeiLiu,etal,LiverCancer,2020;9:

397-413,SCIIF:

9.720,卷积神经网络预后模型肝癌治疗方案选择（1/3）,中山大学第一附属医院与中科院自动化所医工合作,通过多相位视频的融合分析，并结合Cox比例风险损失函数实现端到端的预后预测,使用卷积神经网络挖掘多相位的超声视频特征通过三分支网络结构分别学习动脉期、门脉期和静脉期的超声视频信息,卷积神经网络预后模型肝癌治疗方案选择（2/3）,37位RFA治疗的患者应该接受SR治疗,56位SR治疗的患者应该接受RFA治疗,37人若更换治疗方式，2年PFS的概率平均增加12%,56人若更换治疗方式，2年PFS的概率平均增加15%,基于超声视频的深度学习预后预测模型对于疗效预测和治疗方式选择具有重要的临床意义,卷积神经网络预后模型肝癌治疗方案选择（3/3）,临床效果,844例肺腺癌患者的多中心CT影像数据,实现肺癌患者个体化的EGFR基因突变精准预测,临床数据智能方法,利用迁移深度学习方法预测EGFR基因突变概率,上海肺科医院、天津肿瘤医院与中科院自动化所医工合作,迁移学习肺癌EGFR基因突变预测（1/3）,临床EGFR基因突变检测有创且ESI高被引论文问题穿刺活检受肿瘤异质性影响,ShuoWang,etal,EuropeanRepiratoryJournal,2019,53（3）:

1800986,SCIIF:

12.339,迁移DenseNet前20层（subnetwork1）增加4层新的卷积层，并保持Dense连接（sub-network2）,先训练sub-network2，在迭代20epoch后训练全部网络将CT图像的每一张切片作为一个训练样本,训练方法,基于迁移学习构建新的CNN网络,网络结构,迁移学习肺癌EGFR基因突变预测（2/3）,深度学习模型预测性能显著优于影像组学模型和临床模型,深度学习模型可给出肿瘤中EGFR基因突变高可疑的区域，辅助医生选择穿刺位点,迁移学习肺癌EGFR基因突变预测（3/3）,半监督深度学习卵巢癌复发时间预测（1/3）,临床效果,智能方法,利用术前CT影像预测卵巢癌患者术后复发时间,临床多中心249例卵巢癌患者（含数据102例无随访的CT影像）,使用少量的有随访数据和大量的无随访CT影像，复发预测Cindex=0.713,半监督深度学习方法充分挖掘缺乏随访的CT影像信息,临床问题,华西第二附属医院、河南省人民医院与中科院自动化所开展多中心合作,ShuoWang,etal,RadiotherapyandOncology,2019,132:

171-177.SCIIF:

4.856,构建基于Dense连接的卷积自编码器网络，从大量的无随访的CT影像中学习肿瘤关键特征,使用半监督深度学习方法，可充分挖掘大量的无标签数据的信息,半监督深度学习卵巢癌复发时间预测（2/3）,半监督深度学习模型预测卵巢癌复发风险的精度为C-Index=0.713；预测三年复发率的AUC=0.772,半监督深度学习模型可从大量无随访的CT影像中学习肿瘤关键特征，更好地实现复发时间预测,半监督深度学习卵巢癌复发时间预测（3/3）,临床效果,智能方法,利用术前CT影像诊断胃癌隐匿性腹膜转移（M分期）,临床554例CT判断腹膜阴性患者数据（含122例漏诊的阳性患者）,大幅提高腹膜转移的诊断精度对临床漏诊患者检出率达85%,构建融合影像组学特征和深度学习特征的智能分期方法,临床问题,北大肿瘤医院、郑大一附院、镇江第一人民医院、云南省肿瘤医院与中科院自动化所开展多中心合作,ESI高被引论文,多模态特征融合胃癌腹膜转移预测（1/4）,DiDong,etal,AnnalsofOncology,2019,30:

431-438.SCIIF:

18.274,融合影像组学特征与深度学习特征的优势,视觉特征,密集神经网络特征,融合特征提取智能分析方法高维影像特征,患者一,患者二,CT影像,CT影像,纹理特征直方图,纹理特征直方图,纹理特征,纹理特征,多模态特征融合胃癌腹膜转移预测（2/4）,同时融合解释性强的影像组学特征与自适应的深度学习特征，提高影像预测胃癌腹膜转移的性能,DavidCunningham教授英国皇家马斯登癌症研究所临床肿瘤专家AnnalsofOncology2020,31:

827,在AnnalsofOncology上发表同期述评认为本文的方法“比临床分期和临床特征更精确”,AnnalsofOncology,多模态特征融合胃癌腹膜转移预测（3/4）,胃癌隐匿性腹膜转移研究被写入2019年中国临床肿瘤学会CSCO胃癌诊疗指南,通过CT图像纹理分析技术辅助医生的主观评判，有潜力提高分期水平4,多模态特征融合胃癌腹膜转移预测（4/4）,全自动深度学习模型新冠肺炎诊断（1/4）,应用效果,临床数据,智能方法,使用CT影像可实现快速高灵敏度的新冠肺炎检测,6家医院1266例肺炎患者CT影像（924例新冠，342例其他肺炎）,在来自两家中心的独立外部验证集上AUC均大于0.87,构建端到端的深度学习模型，实现全自动的新冠肺炎诊断,临床问题,ShuoWangetal,EuropeanRespiratoryJournal,2020;56:

2000775.SCIIF:

12.339,武大人民医院、华西医院、安徽医科大学一附院、中国医大一附院、河南省人民医院、黄石中心医院、佑安医院与中科院自动化所医工合作,基于4106例肺癌患者CT影像和EGFR基因突变信息，训练深度学习模型学习肺部CT特征,构建全自动的分析方法，不依赖人工勾画病灶,肺分割,将深度学习模型迁移到新冠肺炎数据集进行重新拟合,全自动的肺分割算法提取肺区域,重新拟合,预训练,全自动深度学习模型新冠肺炎诊断（2/4）,两家医院做独立外部验证集，AUC为0.87和0.88,6家医院1266例肺炎患者CT影像（924例新冠，342例其他肺炎）,全自动深度学习模型新冠肺炎诊断（3/4）,深度学习特征的分层可视化,深度学习模型自动关注到了肺内的结节和炎症区域,全自动深度学习模型新冠肺炎诊断（4/4）,报告内容,基于人工特征的影像组学分析,基于深度学习的影像智能诊断,特异性新型卷积神经网络模型,医疗人工智能的前沿热点方向,深度学习新模型多尺度池化层强化肿瘤内部信息（1/2）,提出多尺度（multi-crop）池化层强化肿瘤内部关键信息传统池化只能获取单一尺度的图像信息多尺度池化在肿瘤中心处使用不同大小的感受野提取多尺度信息在肿瘤内部使用三种尺寸的池化窗获取多尺度的感受野并进行融合，实现对肿瘤中心实质部分的信息强化WeiShen,etal,PatternRecognition,2016,61:

663673,SCIIF:

7.196,在LIDC公开数据集825例数据中，肺结节良恶性分类AUC=0.93,多尺度池化让不同类别的样本在特征空间分布更开,WeiShen,etal,PatternRecognition,2016,61:

663673,SCIIF:

7.196,深度学习新模型多尺度池化层强化肿瘤内部信息（2/2）多尺度池化卷积神经网络实现肺癌早期诊断,提出中心池化卷积神经网络分层量化肿瘤空间信息,中心池化算法,传统池化：

均匀池化操作,中心池化：

使用非均匀中心池化窗约束,特征图,传统池化导致肿瘤信息衰减,中心池化强化瘤内瘤周信息,深度学习新模型中心池化量化肿瘤分层信息（1/2）,对瘤内、瘤周、瘤外区域分别使用不同大小的池化窗，通过非均匀池化实现基于空间信息的特征筛选ShuoWang,etal,MedicalImageAnalysis,2017,40:

172183;SCIIF:

11.148,对组织粘连和空腔等多种肺结节分割精度较高在LIDC公开数据集493例肺结节上分割Dice系数为82.15%,ShuoWang,etal,MedicalImageAnalysis,2017,40:

172183;SCIIF:

11.148,中心池化卷积神经网络分割肺壁粘连等多种肺结节,多种挑战性结节分割,深度学习新模型中心池化量化肿瘤分层信息（2/2）,报告内容,基于人工特征的影像组学分析,基于深度学习的影像智能诊断,特异性新型卷积神经网络模型,医疗人工智能的前沿热点方向,新方向：

病理-影像大数据融合影像组学研究,病理-影像深度融合微观病理与宏观影像在特征层次融合，提升诊断、预后精度,影像预测病理标准病理结果为金标准，基于影像大数据构建人工智能预测模型YanqiHuang,etal,JCO2016.ZhenyuLiu,etal,CCR2017.KunWang,etal,Gut2018.,病理图像智能分析提取病理图像定量特征，智能预测患者治疗反应、预后生存Kun-HsingYu,etal.NC,2016.XinLuo,etal.JTO,2017.Mobadersany,etal.PNAS,2018.,影像病理组学研究直肠癌新辅助疗效预测,与中山六院、中山大学肿瘤医院、云南省肿瘤医院、北大肿瘤医院医工合作,LizhiShao,etal,Annalsofsurgicaloncology,DOI:

10.1245/s10434-020-08659-4.SCIIF:

3.681.,直肠癌新辅助治疗尚无治疗前疗效预测指标用于个性化治疗,临床问题,应用效果,临床数据,多中心981例局部晚期直肠癌患者多参数磁共振+数字病理,多中心预测准确率较单纯影像组学模型准确率提升15%以上,组学方法,影像病理融合，结合肿瘤宏观影像学信息与微观病理学信息,构建标准化的多中心、多参数、多模态肿瘤大数据临床资源库，涵盖中国三大高发癌种，数据10万余例,食管癌2000例,肝癌19300例,胃癌9100例,美国国家癌症数据库TCGA的近10倍http:

/localhost/cache/8101023065003043/png/结直肠癌5420例,脑胶质瘤3780例脊索瘤1550例垂体瘤4040例,乳腺癌20200例,肺癌32000例,宫颈癌1930例,肾癌6000例,鼻咽癌3180例,构建医学影像大数据库,研发医学影像智能分析辅助诊断软件（1/2）,医学影像智能分析软件,MITK/3DMed,规范数据格式,统一算法流程,提高融合精度,多模医学影像统一计算框架,高精度重图像分割建算法配准融合,图像计算图像三