Actieve vormmodellen om pijnbeleving waar te nemen
Actieve vormmodellen om pijnbeleving waar te nemen
Actieve vormmodellen om pijnbeleving waar te nemen
Ard Scheirlynck (ard_scheirlynck@msn.com)
1/08/2016
In mijn thesis probeer ik met behulp van computervisietechnieken een arbeidsintensief proces te automatiseren. Niet alleen kan de voorgestelde techniek gebruikt worden voor de gedoelde toepassing, maar ook een brede waaier aan andere toepassingen kunnen hiertoe in aanmerking komen. Daarnaast zijn computervisietechnieken momenteel hot topic. Het mooiste voorbeeld is zonder twijfel de app ‘Snapchat’ waarbij het systeem op basis van beeldinformatie een gezicht in een videosequentie kan herkennen.
Ik ben sterk gefascineerd door de voorgaande toepassing waardoor ik dergelijk model zelf wilde begrijpen en zelf wou kunnen toepassen. Daarnaast vind ik het ‘machine learning’-domein een bijzonder fascinerende wereld. Het intrigeert mij dat men op een punt gekomen is waar men daadwerkelijk computers iets kan aanleren op een soortgelijke manier zoals dat bij de mens gebeurt. Dit schrikt mij enerzijds ook af, maar de voordelen en tijdswinst die men met machine learning-technieken kan boeken weegt niet op tegen mijn nachtmerries en ‘I, Robot’-scenario’s. Daarbij wou ik als ingenieur iets ontwikkelen dat het leven voor andere personen makkelijker en eenvoudiger maakt, een kerngedachte in de ingenieurswereld.
De thesis vindt zijn praktische toepassing op het vlak van pijnbeleving bij kinderen. Hier volgt de korte samenvatting van de huidige toepassing die in de thesis geautomatiseerd wordt. In samenwerking met prof. dr. Tine Vervoort worden kinderen onderworpen aan een Cold Pressor Task (CPT). Hierbij wordt de hand van het kind ondergedompeld in een koudwaterbad wat een bepaalde vorm van pijn induceert. Pijn kan men detecteren aan de hand van hartslagveranderingen, zelfbevragingstesten en andere technieken. De techniek die professor Vervoort toepast is die van de gelaatsexpressie. Pijn zal zich veelal manifesteren op het gezicht, iets wat wij als mensen intuïtief kunnen waarnemen. Om verder onderzoek te kunnen doen omtrent de pijnbeleving moet pijn worden omgezet naar een bepaalde wiskundige codering, zodat statistische onderzoeken gedaan kunnen worden. Hiertoe wordt de Child Facial Coding Scale toegepast; een systeem bestaande uit 13 gezichtsacties. Dergelijke gezichtsactie kan bijvoorbeeld het fronsen van de wenkbrauwen zijn, het openen van de mond, enzovoort.
Praktisch wordt tijdens de Cold Pressor Task een video gemaakt van het gelaat van het onderzochte kind. Achteraf wordt de video geanalyseerd door getrainde annotatiepersonen. Hun taak bestaat erin de video seconde per seconde te pauzeren en een waarde, gaande van 0 tot 2, toe te kennen aan iedere van de 13 acties uit Child Facial Coding Scale. Hierbij staat 0 voor de afwezigheid van de desbetreffende gezichtsactie en 2 voor maximale aanwezigheid van de gezichtsactie. Op die manier bekomt men voor iedere seconde een vector van 13 cijferwaarden die de acties in het gezicht op dat moment beschrijven. Op dit moment gebeurt voorgaande beschreven taak handmatig. Bekijkt men een videosequentie van 10 minuten, dan kan men snel bereken dat er maar liefst 7800 (10 x 60 x 13) cijferwaarden moeten worden toegekend.
Het is hierop dat mijn thesis een belangrijke rol kan spelen. In een eerste deel van mijn masterproef wordt het Active Shape Model geanalyseerd. Dit is een model die men kan vergelijken met een flexibel masker op een gezicht. Door middel van beeldverwerkingstechnieken wordt getracht het masker zo goed mogelijk op het gezicht te plaatsen zodat het masker ons een waarheidsgetrouw beeld kan geven van het gezicht. Hiertoe werd vertrokken van een reeds gerealiseerde implementatie van het Active Shape Model, maar uitgebreid met verschillende andere technieken die het masker volgens de me17-norm met 50% verbeterde. Het masker kan men zien als een verzameling van 76 punten die markante gezichtspunten voorstellen. Dit kunnen de mondhoeken, pupillen, kaakcontour, enzovoort zijn.
In een tweede deel van mijn thesis ga ik op zoek naar een relatie tussen de 76 punten en probeer ik de 76 punten te linken aan de 13 faciale acties. Wil men bijvoorbeeld de gezichtsactie waar de mond wordt geopend detecteren aan de hand van het masker, dan kan men bijvoorbeeld de onderlinge afstand monitoren ter hoogte van de punten die de mond beschrijven. Deze onderlinge afstand wordt vervolgens beschreven in een wiskundige vector die geannoteerd wordt met de waarde 0, 1 of 2 naargelang het voorkomen in het desbetreffende geannoteerde frame. Dit werd herhaald voor zes van de dertien faciale acties als basisimplementatie van het systeem. Vervolgens wordt deze data aangeleverd aan verschillende Support Vector Machines die de data aanleren. Daarna kunnen deze getrainde Support Vector Machines uitspraken doen omtrent het voorkomen van één van de zes gezichtsacties in een onbekende videosequentie. Het computersysteem kan met andere woorden het werk van de manuele annotatiepersonen zelfstandig overnemen. We kunnen concluderen dat het systeem voor 85,91% dezelfde resultaten geeft als een manuele annotatiepersoon.
Het eerste deel, het Active Shape Model, werkt goed en kan quasi perfect een gezicht herkennen en de 76 punten correct positioneren. Het tweede deel, het machine learning-concept, verdient in de toekomst nog wat extra aandacht. Enerzijds moet het systeem uitgebreid worden tot alle 13 faciale acties kunnen worden gedetecteerd. Het model kan tevens niet alleen op een gezicht worden toegepast. Denken we bijvoorbeeld aan toepassingen in de medische beeldvorming waar een orgaan moet worden gedetecteerd in een röntgenfoto. Hoe dan ook kan ik concluderen dat er – in de tijdspanne van deze thesis – goede en beloftevolle resultaten werden geboekt.
Bibliografie
[1] T. F. Cootes, C. J. Taylor, D. H. Cooper, and J. Graham, “Active shape models-their training and application,” Computer vision and image understanding, vol. 61, no. 1, pp. 38–59, 1995.
[2] “asmlib-opencv,” https://github.com/cxcxcxcx/asmlib-opencv.
[3] M. Den Uyl and H. Van Kuilenburg, “The facereader: Online facial expression recog-
nition,” in Proceedings of Measuring Behavior, vol. 30. Citeseer, 2005, pp. 589–590.
[4] “Nuig health psychology blog,” https://nuighealthpsychology.wordpress.com/tag/
child-pain/.
[5] M. B. Stegmann, “Active appearance models: Theory, extensions and cases,” Infor-
matics and Mathematical Modelling, p. 262, 2000.
[6] “Face recognition using eigenfaces and distance classifiers: A tutorial,” https:// onionesquereality.files.wordpress.com/2009/02/eigenfaces-reconstruction.jpg, bezocht op: 21-05-2016.
[7] F. Deboeverie, “Adaptive techniques with polynomial models for segmentation, ap- proximation and analysis of faces in video sequences,” Ph.D. dissertation, Ghent Uni- versity, 2014.
[8] “Active contour model,” http://scikit-image.org/docs/dev/auto examples/edges/ plot active contours.html, bezocht op: 21-05-2016.
[9] S. Milborrow, J. Morkel, and F. Nicolls, “The muct landmarked face database,” Pat- tern Recognition Association of South Africa, vol. 201, no. 0, 2010.
[10] “The muct landmarks,” http://www.milbo.org/muct/muct-landmarks.html.
[11] P. A. D. Martins, “Active appearance models for facial expression recognition and
monocular head pose estimation,” Ph.D. dissertation, University of Coimbra, 2008.
[12] “Image pyramids,” http://docs.opencv.org/2.4/doc/tutorials/imgproc/pyramids/ pyramids.html.
[13] P. Viola and M. J. Jones, “Robust real-time face detection,” International journal of computer vision, vol. 57, no. 2, pp. 137–154, 2004.
[14] “Mahalanobis distance,” https://www.youtube.com/watch?v=spNpfmWZBmg.
[15] “A comparison of multiclass svm methods,” http://courses.media.mit.edu/2006fall/ mas622j/Projects/aisen-project/, bezocht op: 25-05-2016.
[16] Veelaert, “Support vector machines.”
[17] “Meet kinect for windows,” https://developer.microsoft.com/en-us/windows/kinect, bezocht op: 20-05-2016.
[18] “Siri,” http://www.apple.com/nl/ios/siri/, bezocht op: 20-05-2016.
[19] “Tired? angry? your car knows how you feel,” http://www.gizmag.com/ epfl-psa-peugeot-citreon-emotion-detector-safety/31328/, bezocht op: 30-03-2016.
[20] “Facebook buys face-swapping app msqrd and its many selfie filters,” http://www.theverge.com/2016/3/9/11186094/ facebook-masquerade-face-swapping-app-acquisition.
[21] C. Darwin, P. Ekman, and P. Prodger, The expression of the emotions in man and animals. Oxford University Press, USA, 1998.
[22] P. Ekman, W. V. Friesen, and C. P. Press, Pictures of facial affect. consulting psychologists press, 1975.
[23] P. Ekman, “Facial expression and emotion.” American psychologist, vol. 48, no. 4, p. 384, 1993.
[24] C. E. Izard, L. M. Dougherty, and E. A. Hembree, A system for identifying affect ex- pressions by holistic judgments (AFFEX). Instructional Resources Center, University of Delaware, 1983.
[25] “Cognitive services,” https://www.microsoft.com/cognitive-services/, bezocht op: 29-
05-2016.
[26] Q.-r. Mao, X.-y. Pan, Y.-z. Zhan, and X.-j. Shen, “Using kinect for real-time emotion recognition via facial expressions,” Frontiers of Information Technology & Electronic Engineering, vol. 16, pp. 272–282, 2015.
[27] M. Day, “Exploiting facial landmarks for emotion recognition in the wild,” arXiv preprint arXiv:1603.09129, 2016.
[28] P. Ekman and W. V. Friesen, “Facial action coding system,” 1977.
[29] K. R. Scherer and P. Ekman, Handbook of methods in nonverbal behavior research. Cambridge University Press Cambridge, 1982, vol. 2.
[30] B. D. Lucas, T. Kanade et al., “An iterative image registration technique with an application to stereo vision.” in IJCAI, vol. 81, 1981, pp. 674–679.
[31] G. Donato, M. S. Bartlett, J. C. Hager, P. Ekman, and T. J. Sejnowski, “Classifying facial actions,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 21, no. 10, pp. 974–989, 1999.
[32] J. F. Cohn, A. J. Zlochower, J. Lien, and T. Kanade, “Automated face analysis by feature point tracking has high concurrent validity with manual facs coding,” Psycho- physiology, vol. 36, no. 01, pp. 35–43, 1999.
[33] J. J.-J. Lien, T. Kanade, J. F. Cohn, and C.-C. Li, “Detection, tracking, and classifi- cation of action units in facial expression,” Robotics and Autonomous Systems, vol. 31, no. 3, pp. 131–146, 2000.
[34] Y.-l. Tian, T. Kanade, and J. F. Cohn, “Recognizing action units for facial expression analysis,” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 23, no. 2, pp. 97–115, 2001.
[35] T. Vervoort, Z. Trost, S. Su ̈tterlin, L. Caes, and A. Moors, “Emotion regulatory function of parent attention to child pain and associated implications for parental pain control behaviour,” Pain, vol. 155, no. 8, pp. 1453–1463, 2014.
[36] J. L. Mundy, “Object recognition based on geometry: Progress over three decades,”
Philosophical Transactions of the Royal Society of London A: Mathematical, Physical and Engineering Sciences, vol. 356, no. 1740, pp. 1213–1231, 1998.
[37] “Digital image processing: p055 active contours,” https://www.youtube.com/watch?
v=jrA-r4BOn0c, bezocht op: 21-05-2016.
[38] “Active contour model,” https://en.wikipedia.org/wiki/Active contour model.
[39] T. Cootes, E. Baldock, and J. Graham, “An introduction to active shape models,” Image processing and analysis, pp. 223–248, 2000.
[40] “Fire-i digital camera,” http://www.unibrain.com/products/fire-i-digital-camera/.
[41] “Xm2vts 68pt markup,” http://personalpages.manchester.ac.uk/staff/timothy.f. cootes/data/xm2vts/xm2vts markup.html, bezocht op: 31-03-2016.
[42] M. B. Stegmann and D. D. Gomez, “A brief introduction to statistical shape ana- lysis,” Informatics and mathematical modelling, Technical University of Denmark, DTU, vol. 15, p. 11, 2002.
[43] “Vector projection,” https://en.wikipedia.org/wiki/Vector projection.
[44] “A tutorial on principal components analysis,” http://www.cs.otago.ac.nz/cosc453/ student tutorials/principal components.pdf.
[45] “Computation of eigenvectors,” http://www.sosmath.com/matrix/eigen2/eigen2. html, bezocht op: 19-05-2016.
[46] “Principal component analysis,” https://en.wikipedia.org/wiki/Principal component analysis.
[47] S. Milborrow and F. Nicolls, “Locating facial features with an extended active shape model,” in Computer Vision–ECCV 2008. Springer, 2008, pp. 504–513.
[48] U. Prabhu and K. Seshadri, “Facial recognition using active shape models, local pat- ches and support vector machines,” contrib. andrew. cmu. edu, pp. 1–8.
[49] S. Yan, C. Liu, S. Z. Li, H. Zhang, H.-Y. Shum, and Q. Cheng, “Face alignment using texture-constrained active shape models,” Image and Vision Computing, vol. 21, no. 1, pp. 69–75, 2003.
[50] “Bilinear interpolation,” https://en.wikipedia.org/wiki/Bilinear interpolation, be- zocht op: 08-04-2016.
[51] “Viola jonas face detection,” https://www.youtube.com/watch?v= QZLbR67fUU.
[52] “Opencv,” http://opencv.org/, bezocht op: 29-05-2016.
[53] “Cascade classification,” http://docs.opencv.org/2.4/modules/objdetect/doc/ cascade classification.html.
[54] “Mahalanobis distance,” https://en.wikipedia.org/wiki/Mahalanobis distance.
[55] Y. Zhou, L. Gu, and H.-J. Zhang, “Bayesian tangent shape model: Estimating shape and pose parameters via bayesian inference,” in Computer Vision and Pattern Recog- nition, 2003. Proceedings. 2003 IEEE Computer Society Conference on, vol. 1. IEEE, 2003, pp. I–109.
[56] D. Cristinacce and T. F. Cootes, “Feature detection and tracking with constrained local models.” in BMVC, vol. 2, no. 5. Citeseer, 2006, p. 6.
[57] C. Chambers, K. Cassidy, P. McGrath, C. Gilbert, and K. Craig, “Cfcs: Revised manual 1996,” IWK Grace Health Centre, Dalhousie University and the University of British Columbia, 1996.
[58] “Facial action coding system,” https://en.wikipedia.org/wiki/Facial Action Coding System, bezocht op: 09-04-2016.
[59] “Facs - facial action coding system,” http://www.cs.cmu.edu/∼face/facs.htm.
[60] “Hero4 black,” http://shop.gopro.com/EMEA/cameras/hero4-black/
CHDHX-401-EU.html, bezocht op: 24-05-2016.
[61] C. Cortes and V. Vapnik, “Support-vector networks,” Machine learning, vol. 20, no. 3, pp. 273–297, 1995.
[62] “Support vector machines,” http://scikit-learn.org/stable/modules/svm.html, be- zocht op: 01-02-2016.