Automated analysis of blood vessels with deep learning

Ruben Hemelings
Epidemiologisch onderzoek stelt vast dat de bloedvaten op het netvlies veranderingen ondergaan ten gevolge van onder meer diabetes, beroertes en Alzheimer. Momenteel is de complexe analyse van netvliesbeelden enkel weggelegd voor gespecialiseerde artsen. In dit thesisonderzoek werd een algoritme op basis van deep learning ontwikkeld dat een deel van de analyse automatiseert: het is in staat om de twee verschillende types bloedvaten (slagader en ader) te identificeren op een foto van het netvlies zonder tussenkomst van een arts.

Het menselijk oog - een raam naar het hart en de hersenen

Uit recent onderzoek blijkt dat de bloedvaten op het netvlies heel wat informatie over onze gezondheid bevatten. Artsen kunnen via een (goedkope) foto van het netvlies niet alleen oogziekten vaststellen, maar daarnaast ook het risico op hart- en vaatziekten opsporen. De (partiële) automatisering van de analyse van het netvlies kan de detectie van voornoemde oog- en systeemziekten versnellen, alsook de subjectiviteit van een arts verminderen.

‘Als iemand het risico op een beroerte loopt, zijn de bloedvaten veel nauwer. Dat kunnen we meten op een digitale foto. Op die manier kunnen we vijf à tien jaar op voorhand voorspellen of iemand in aanmerking komt voor een beroerte.’ – Patrick De Boever, project manager bij VITO (Vlaamse Instelling voor Technologisch Onderzoek).

Tijdens de netvliesanalyse worden er tal van statistieken (ook wel biomerkers genoemd) berekend die mogelijks kunnen dienen als risico-indicator die gekoppeld zijn aan een bepaalde oog- of systeemziekte. Een voorbeeld hiervan is de ratio van de gemiddelde dikte van de slagaders (zuurstofrijk bloed) ten opzichte van de dikte van de aders (zuurstofarm bloed), die dan kan vergeleken worden met een ‘gezonde’ ratio. In het geval van een beroerte hebben onderzoekers vastgesteld dat de aders vernauwd zijn, wat zich dan vertaalt in een hogere ratio dan normaal.

In dit thesisonderzoek werd een algoritme ontwikkeld in samenwerking met VITO dat een deel van de netvliesanalyse automatiseert: het is in staat om de twee verschillende types bloedvaten (slagader en ader) te identificeren op een foto van het netvlies zonder tussenkomst van een arts. Op die manier kan de belangrijke ratio van de bloedvatendikte in enkele seconden bemachtigd worden, in plaats van een arts dit manueel te laten opmeten.

De software doet beroep op een recente doorbraak in het domein van artificiële intelligentie - verwezen als ‘deep learning’ -  die nu alom wordt toegepast door technologiereuzen en start-ups. Het principe achter deep learning steunt op de werking van neuronen in het menselijk brein: het systeem is georganiseerd in vele lagen van neuronen, waar elke volgende laag meer complexe informatie kan begrijpen en leren. Wanneer u dit artikel leest, ziet u in het begin (onbewust) ook enkel individuele letters, die dan opeenvolgend woorden, zinnen en alinea’s vormen, om dan uiteindelijk tot een geheel artikel te komen, dat u hopelijk iets nieuws heeft bijgebracht (menselijk leren). Deep learning toegepast op foto’s ziet en begrijpt in de beginlagen ook enkel individuele pixels, waarna meer complexe structuren zoals randen en objecten worden aangeleerd in lagen aan het eind van het netwerk.

Momenteel is de toepassing van deep learning in de medische wereld vooralsnog beperkt mede door de vereiste van een grote hoeveelheid gelabelde data voor het trainen van een model. In mijn onderzoek heb ik een hoge performantie kunnen bereiken met slechts twintig netvliesbeelden waar de twee verschillende soorten bloedvaten op aangeduid zijn door een gespecialiseerde arts. Wanneer ik deze beelden in hun oorspronkelijke vorm aan een deep learning model zou invoeren, zou het model niet in staat zijn te ‘generaliseren’. Met andere woorden, het zou die twintig foto’s zo goed uit het hoofd leren, dat het perfecte accuraatheid scoort op diezelfde beelden, maar compleet zou falen wanneer er een ongeziene foto wordt aangeleverd. Door de aanwezigheid van vele lagen in het netwerk, is er een hoog aantal unieke trainingsbeelden vereist, opdat het netwerk niet uit het hoofd leert.

Weer kan de link gelegd worden met het menselijk leren. In het lager onderwijs worden de maaltafels aangeleerd door verschillende producten als opdracht te geven, en niet uitsluitend het product 2x2=4 te blijven herhalen. Door een variatie aan trainingsmateriaal aan te bieden, slaagt het kind er stilaan in van de kunst van het vermenigvuldigen te generaliseren, en dus zelf een juiste oplossing te formuleren voor een ongezien product.

Het grote struikelblok in mijn onderzoek was om met slechts twintig unieke gelabelde foto’s een zinvol model te trainen. De sleutel tot succes bleek data-augmentatie te zijn: originele foto’s omvormen tot een veelvoud aan ‘nieuwe’ foto’s. Door een foto te draaien of te spiegelen bijvoorbeeld, wordt dit door het deep learning model beschouwd als unieke foto op zichzelf. Daarnaast heb ik van de oorspronkelijke foto’s een tal van kleinere beelden uitgesneden, wat uiteindelijk heeft geleid tot een dataset van circa 80000 unieke beelden.

De huidige performantie van het model ligt reeds hoger dan deze gerapporteerd in de thesistekst die dateert van juni 2017. Met 98% aan juist geclassificeerde bloedvaten (slagader of ader) komt het model erg dicht in de buurt van een menselijke expert en laat het andere softwaretechnieken ver achter zich. Daarnaast wordt er overlegd met VITO of er een wetenschappelijke publicatie en/of patent uit kan voortkomen.

Ondertussen heb ik de heuglijke samenwerking met VITO verlengd in de vorm van een doctoraat waarin ik de toepassingen van deep learning in de medische wereld nog verder ga verkennen. Met de steun van medische experts van UZ Leuven ga ik me in eerste instantie toespitsen op de automatische detectie van glaucoom (een veelvoorkomende oogziekte) op basis van netvliesbeelden.

Bibliografie

[1] S. E. Bursell, A. C. Clermont, B. T. Kinsley, D. C. Simonson, L. M. Aiello, and H. A. Wolpert, “Retinal blood flow changes in patients with insulin-dependent diabetes mellitus and no diabetic retinopathy.” Investigative Ophthalmology & Visual Science, vol. 37, no. 5, p. 886, 1996. [Online]. Available: + http://dx.doi.org/

[2] M. B. Sasongko, T. Y. Wong, T. T. Nguyen, C. Y. Cheung, J. E. Shaw, and J. J. Wang, “Retinal vascular tortuosity in persons with diabetes and diabetic retinopathy,” Diabetologia, vol. 54, no. 9, pp. 2409–2416, 2011. [Online]. Available: http://dx.doi.org/10.1007/s00125-011-2200-y

[3] L. Ramm, S. Jentsch, S. Peters, R. Augsten, and M. Hammer, “Investigation of blood flow regulation and oxygen saturation of the retinal vessels in primary  open-angle  glaucoma,”  Graefe’s  Archive for Clinical and Experimental Ophthalmology, vol. 252, no. 11, pp. 1803–1810, 2014. [Online]. Available: http://dx.doi.org/10.1007/s00417-

[4] E. Pekel and G. Pekel, “Diagnostic ability of retinal arteriolar diameter measurements  in  glaucoma letters,”  Investigative  Ophthalmology  & Visual Science, vol. 57, no. 4, p. 2166, 2016. [Online]. Available: +http://dx.doi.org/10.1167/iovs.16-19060

[5] R. Heitmar, G. Y. H. Lip, R. E. Ryder, and A. D. Blann, “Retinal vessel diameters  and  reactivity  in  diabetes  mellitus  and/or  cardiovascular disease,”  Cardiovascular  Diabetology,  vol.  16,  no.  1,  p.  56,  2017. [Online]. Available: http://dx.doi.org/10.1186/s12933-017-0534-6

[6] J.   K.   H.   Lim,   Q.-X.   Li,   Z.   He,   A.   J.   Vingrys,   V.   H.   Y. Wong,  N.  Currier,  J.  Mullen,  B.  V.  Bui,  and  C.  T.  O.  Nguyen, “The   eye   as   a   biomarker   for   alzheimer’s   disease,”   Frontiers in   Neuroscience,   vol.   10,   p.   536,   2016.   [Online].   Available: http://journal.frontiersin.org/article/10.3389/fnins.2016.00536

[7] S. L. Murphy, K. D. Kochanek, J. Xu, and E. Arias, “Mortality in the united states, 2014.” NCHS Data Brief, no. 229, pp. 1–8, Dec 2015.

[8] B. R. McClintic, J. I. McClintic, J. D. Bisognano, and R. C. Block, “The  relationship  between  retinal  microvascular  abnormalities  and coronary heart disease: A review,” The American journal of medicine, vol.  123,  no.  4,  pp.  374.e1–374.e7,  04  2010.  [Online].  Available: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2922900/

[9]  M.  Fraz,  P.  Remagnino,  A.  Hoppe,  B.  Uyyanonvara,  A.  Rudnicka, C. Owen, and S. Barman, “Blood vessel segmentation methodologies in  retinal  images    a  survey,”  Computer  Methods  and  Programs  in Biomedicine, vol. 108, no. 1, pp. 407 – 433, 2012. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0169260712000843

[10] G. Gonzlez, E. Tretken, F. Fleuret, and P. Fua, “Delineating trees in noisy 2d images and 3d image-stacks,” in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 2010,

[11]  H. Ishikawa, D. Geiger, and R. Cole, “Finding tree structures by grouping symmetries,” in Tenth IEEE International Conference on Computer Vision (ICCV’05) Volume 1, vol. 2, Oct 2005, pp. 1132–1139 Vol. 2.

[12] E. Tu¨retken, G. Gonza´lez, C. Blum, and P. Fua, “Automated reconstruction of dendritic and axonal trees by global optimization with geometric priors,” Neuroinformatics, vol. 9, no. 2, pp. 279–302, 2011. [Online]. Available: http://dx.doi.org/10.1007/s12021-011-9122-1

[13] T. Yedidya and R. Hartley, “Tracking of blood vessels in retinal images using kalman filter,” in 2008 Digital Image Computing: Techniques and Applications, Dec 2008, pp. 52–58.

[14]  M.   Fraz,   S.   Barman,   P.   Remagnino,   A.   Hoppe,   A.   Basit, B. Uyyanonvara, A. Rudnicka, and C. Owen, “An approach to localize the retinal blood vessels using bit planes and centerline detection,”  Computer  Methods  and  Programs   in   Biomedicine, vol. 108, no. 2, pp. 600 – 616, 2012. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0169260711002276

[15]  Y.  Huang,  J.  Zhang,  and  Y.  Huang,   “An   automated computational  framework  for  retinal  vascular   network   labeling and branching order analysis,”  Microvascular  Research,  vol.  84, no. 2, pp. 169 – 177, 2012. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0026286212000945

[16] J. Malek and R. Tourki, “Inertia-based vessel centerline extraction in retinal image,” in 2013 International Conference on Control, Decision and Information Technologies (CoDIT), May 2013, pp. 378–381.

[17] M. Sofka and C. V. Stewart, “Retinal  vessel  centerline extraction using multiscale matched filters, confidence and edge measures,” IEEE Transactions on Medical Imaging, vol. 25, no. 12, pp. 1531–1546, Dec 2006.

[18] E. Grisan and A. Ruggeri, “A divide et impera strategy for automatic classification of retinal vessels into arteries and veins,” in Proceedings of the 25th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (IEEE Cat. No.03CH37439), vol. 1, Sept 2003, pp. 890–893 Vol.1.

[19]  K.   Rothaus,   X.   Jiang,   and   P.   Rhiem,   “Separation   of   the retinal  vascular  graph  in  arteries  and  veins   based   upon structural  knowledge,”  Image  and  Vision   Computing,   vol.   27, no.   7,   pp.   864    –    875,    2009,    7th    IAPR-TC15    Workshop on Graph-based Representations (GbR 2007). [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0262885608000590

[20] B. Dashtbozorg, A. M. Mendona, and A. Campilho, “An automatic graph-based approach for artery/vein classification in retinal images,” IEEE Transactions on Image Processing, vol. 23, no. 3, pp. 1073–1083, March 2014.

[21]  R. Estrada, M. J. Allingham, P. S. Mettu, S. W. Cousins, C. Tomasi, and

S. Farsiu, “Retinal artery-vein classification via topology estimation,” IEEE Transactions on Medical Imaging, vol. 34, no. 12, pp. 2518–2534, Dec 2015.

[22] H. Li, W. Hsu, M. L. Lee, and H. Wang, “A piecewise gaussian model for profiling and differentiating retinal vessels,” in Image Processing, 2003. ICIP 2003. Proceedings. 2003 International Conference on, vol. 1, Sept 2003, pp. I–1069–72 vol.1.

[23] D. Relan, T. MacGillivray, L. Ballerini, and E. Trucco, “Retinal vessel classification: Sorting arteries and veins,” in 2013 35th Annual Inter- national Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), July 2013, pp. 7396–7399.

[24] S. G. Vazquez, B. Cancela, N. Barreira, M. G. Penedo, M. Rodriguez- Blanco, M. Pena Seijo, G. C. de Tuero, M. A. Barcelo, and M. Saez, “Improving retinal artery and vein classification by means of a minimal path approach,” Machine Vision and Applications, vol. 24, no. 5, pp. 919–930, 2013. [Online]. Available: http://dx.doi.org/10.1007/s00138-012-0442-4

[25] C. Kondermann, D. Kondermann, and M. Yan, “Blood vessel classification  into  arteries  and  veins  in  retinal  images,”  Proc. SPIE, vol. 6512, pp. 651 247–651 247–9, 2007. [Online]. Available: http://dx.doi.org/10.1117/12.708469

[26]  C.     Muramatsu,            Y.            Hatanaka,            T.     Iwase,         T.     Hara,         and H.  Fujita,  “Automated  selection   of   major   arteries   and   veins for measurement of arteriolar-to-venular diameter ratio on retinal fundus  images,”  Computerized  Medical  Imaging   and   Graphics, vol. 35, no. 6, pp. 472 – 480, 2011. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0895611111000450

[27] Q. Mirsharif, F. Tajeripour, and H. Pourreza, “Automated characterization  of   blood   vessels   as   arteries   and   veins   in retinal  images,”  Computerized  Medical  Imaging   and   Graphics, vol. 37, no. 78, pp. 607 – 617, 2013. [Online]. Available: http://www.sciencedirect.com/science/article/pii/S0895611113001237

[28] A. Zamperini, A. Giachetti, E. Trucco, and K. S. Chin, “Effective features for artery-vein classification in digital fundus images,” in Computer-Based Medical Systems (CBMS), 2012 25th International Symposium on, June 2012, pp. 1–6.

[29] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in Advances in Neural Information  Processing  Systems  25,  F.  Pereira,  C.  J.  C.  Burges,

L. Bottou, and K. Q. Weinberger, Eds. Curran Associates, Inc., 2012, pp. 1097–1105. [Online]. Available: http://papers.nips.cc/paper/4824- imagenet-classification-with-deep-convolutional-neural-networks.pdf

[30]  C.  Szegedy,  W.  Liu,  Y.  Jia,  P.  Sermanet,  S.  Reed,  D.  Anguelov,

D. Erhan, V. Vanhoucke, and A. Rabinovich, “Going deeper with convolutions,” in Computer Vision and Pattern Recognition (CVPR), 2015. [Online]. Available: http://arxiv.org/abs/1409.4842

[31] K. Simonyan and A. Zisserman, “Very deep convolutional networks for large-scale image recognition,” CoRR, vol. abs/1409.1556, 2014. [Online]. Available: http://arxiv.org/abs/1409.1556

[32] M. Lin, Q. Chen, and S. Yan, “Network in network,” CoRR, vol. abs/1312.4400, 2013. [Online]. Available: http://arxiv.org/abs/1312.4400

[33] J. Long, E. Shelhamer, and T. Darrell, “Fully convolutional networks for semantic segmentation,” CoRR, vol. abs/1411.4038, 2014. [Online].

Available: http://arxiv.org/abs/1411.4038

[34]  L.    Chen,    G.    Papandreou,    I.    Kokkinos,    K.    Murphy,    and A.   L.   Yuille,   “Deeplab:   Semantic   image   segmentation    with deep  convolutional  nets,  atrous  convolution,  and  fully  connected crfs,” CoRR, vol. abs/1606.00915, 2016. [Online]. Available: http://arxiv.org/abs/1606.00915

[35]  S.  Zheng,  S.  Jayasumana,  B.  Romera-Paredes,  V.  Vineet,  Z.  Su,

D. Du, C. Huang, and P. H. S. Torr, “Conditional random fields as recurrent neural networks,” CoRR, vol. abs/1502.03240, 2015. [Online].

Available: http://arxiv.org/abs/1502.03240

[36] S. Pereira, A. Pinto, V. Alves, and C. A. Silva, Deep Convolutional Neural Networks for the Segmentation of Gliomas in Multi-sequence MRI. Cham: Springer International Publishing, 2016, pp. 131–143. [Online]. Available: http://dx.doi.org/10.1007/978-3-319-30858-6 12

[37] D. Ciresan, A. Giusti, L. M. Gambardella, and J.  Schmidhuber, “Deep neural networks segment neuronal membranes in electron microscopy images,”  in Advances  in  Neural Information  Processing Systems 25, F. Pereira, C. J. C. Burges, L. Bottou, and K. Q. Weinberger, Eds. Curran Associates, Inc., 2012, pp. 2843–2851. [On- line]. Available: http://papers.nips.cc/paper/4741-deep-neural-networks- segment-neuronal-membranes-in-electron-microscopy-images.pdf

[38]  H.   Chen,    Q.   Dou,   L.   Yu,    and   P.    Heng,    “Voxresnet: Deep voxelwise residual networks for  volumetric  brain segmentation,” CoRR, vol. abs/1608.05895, 2016. [Online]. Available: http://arxiv.org/abs/1608.05895

[39]  Q.  Dou,  H.  Chen,  Y.  Jin,  L.  Yu,  J.  Qin,   and   P.   Heng,   “3d deeply supervised network for automatic  liver  segmentation  from CT volumes,” CoRR, vol. abs/1607.00582, 2016. [Online]. Available: http://arxiv.org/abs/1607.00582

[40]  M.  Havaei,  A.  Davy,  D.  Warde-Farley,  A.  Biard,  A.  C.  Courville,

Y. Bengio, C. Pal, P. Jodoin, and H. Larochelle, “Brain tumor segmentation with deep neural networks,” CoRR, vol. abs/1505.03540, 2015. [Online]. Available: http://arxiv.org/abs/1505.03540

[41] O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” CoRR, vol. abs/1505.04597, 2015. [Online]. Available: http://arxiv.org/abs/1505.04597

[42] T. M. Quan, D. G. C. Hildebrand, and W. Jeong, “Fusionnet: A deep fully residual convolutional neural network for image segmentation in connectomics,” CoRR, vol. abs/1612.05360, 2016. [Online]. Available: http://arxiv.org/abs/1612.05360

[43] O¨ . C¸ ic¸ek, A. Abdulkadir, S. S. Lienkamp, T. Brox, and O. Ronneberger, “3d u-net: Learning dense volumetric segmentation from sparse annotation,” CoRR, vol. abs/1606.06650, 2016. [Online]. Available: http://arxiv.org/abs/1606.06650

[44] F. Milletari, N. Navab,  and   S.  Ahmadi,  “V-net:   Fully convolutional neural networks for volumetric medical image segmentation,” CoRR, vol. abs/1606.04797, 2016. [Online]. Available: http://arxiv.org/abs/1606.04797

[45] J. Staal, M. Abramoff, M. Niemeijer, M. Viergever, and B. van Gin- neken, “Ridge based vessel segmentation in color images of the retina,” IEEE Transactions on Medical Imaging, vol. 23, no. 4, pp. 501–509, 2004.

[46]  M. Niemeijer, X. Xu, A. V. Dumitrescu, P. Gupta, B. van Ginneken,

J. C. Folk, and M. D. Abramoff, “Automated measurement of the arteriolar-to-venular width ratio in digital color fundus photographs,” IEEE Transactions on Medical Imaging, vol. 30, no. 11, pp. 1941–1950, Nov 2011.

[47] T. A. Qureshi, M. Habib, A. Hunter, and B. Al-Diri, “A manually- labeled, artery/vein classified benchmark for the drive dataset,” in Proceedings of the 26th IEEE International Symposium on Computer- Based Medical Systems, June 2013, pp. 485–488.

[48]  L. Antiga, “retina-unet,” https://github.com/orobix/retina-unet, 2016. [49]  H.   Li,   R.   Zhao,   and   X.   Wang,   “Highly   efficient   forward   and backward propagation of convolutional neural networks for pixelwise classification,” CoRR, vol. abs/1412.4526, 2014. [Online]. Available: http://arxiv.org/abs/1412.4526

[50]  O.    Ronneberger,    P.    Fischer,    and     T.     Brox,     “Dental     x- ray image segmenation using a u-shaped deep convolutional network,” 2016. [Online]. Available: http://wwwo.ntust.edu.tw/ cwei- wang/ISBI2015/challenge2/isbi2015 Ronneberger.pdf

[51]  P.   Y.   Simard,   D.   Steinkraus,   and   J.   Platt,   “Best   practices for   convolutional   neural   networks   applied   to   visual   document analysis.”           Institute  of  Electrical  and  Electronics  Engineers,  Inc., August   2003.   [Online].   Available:   https://www.microsoft.com/en- us/research/publication/best-practices-for-convolutional-neural- networks-applied-to-visual-document-analysis/

Universiteit of Hogeschool
Master in Artificial Intelligence
Publicatiejaar
2017
Promotor(en)
Prof. dr. Matthew Blaschko
Kernwoorden