Een groot tekort aan bekwame controle ingenieurs: kan Machine Learning dit oplossen?

Anandu
Sreekumar

 

Introduction

Het vergt heel wat tijd om als beginnend ingenieur opgeleid te worden tot domeinexpert.  Het is door ervaring met vele probleemopstellingen en het zoeken naar oplossingen hiervoor dat iemand een expert in zijn vak wordt. 

Hoedanook kunnen we dit proces niet zomaar versnellen, zelfs wanneer we over alle nodige data beschikken voor opleiding. Een 24/7 training met deze kennis is onmogelijk en kan nooit de expertise van werkervaring vervangen. Ook hebben ervaren ingenieurs en belangrijke rol in vele sectoren zoals industriële automatie, en breid hun impact uit naar meerdere domeinen alsook voor de productie van dagdagelijkse producten. Van de tandpasta die we gebruiken in de ochtend tot het eten die we s ’avonds in de winkel kopen: de meeste producten zijn deels of volledig het resultaat van industriële automatie.

Vandaag de dag hebben we een nijpend tekort aan bekwame ingenieurs in dit domein. Artificiële Intelligentie (AI) komt op als een potentiële oplossing voor dit probleem. Sommige AI technieken zoals Reinforcement Learning (RL) zijn geïnspireerd door zowel menselijk en dierlijk leren van ervaringen. Een simpele analogie is het trainen van een hond. Als het dier een verwachte actie uitvoert, zoals een pootje geven, krijgt het een beloning in de vorm van een koekje. Doet de hond dit niet, dan is er geen beloning. AI kan op een gelijkaardige manier getrained worden voor het automatiseren van taken. Voor gedrag die de opdracht voldoet wordt een AI beloond terwijl een straf wordt gegeven voor ongewenst gedrag. Door dit proces vele malen te herhalen, kan de AI langzamerhand de kennis en expertise vergaren van een domein expert. 

Lost het trainen van een machine al onze problemen op?

We kunnen AI trainen op alle beschikbare data zodat het competent wordt. Maar is dit voldoende? Om complexe problemen in de wereld op te lossen, doen AI systemen vaak beroep op neurale netwerken. Dit zijn modellen die gebaseerd zijn op biologische breinen. Net zoals het menselijk brein kan een modern AI systeem moeilijk te verstaan zijn hoe het werkt dankzij zijn complexiteit. Het beantwoorden van vragen zoals Waarom? en Hoe? een systeem tot een beslissing komt binnen dit digitale brein zijn nochtans belangrijke criteria om transparantie en verantwoordelijkheid te garanderen.

Beeld je volgend scenario in: een klant vraagt een kredietkaart aan bij de bank en krijgt deze met een bepaalde betalingslimitering. Deze klant heeft het recht om te weten waarom een bepaalde limiet werd opgesteld en waarom er niet meer gespendeerd kan worden. Als de bank motiveert dat dit puur gebaseerd is op de beslissing van een AI systeem, dus het resultaat van het digitale brein, dan zal het vertrouwen van de klant in die bank waarschijnlijk dalen als er geen verantwoording is. Een ander voorbeeld kan een zelfrijdende auto zijn die tot een beslissing moet komen: sla ik links af of rechts? De ingenieurs die deze auto helpen ontwikkelen moeten natuurlijk weten waarom het brein zulke beslissingen maakt. Indien geen juiste redenering geformuleerd kan worden is het ook mogelijk dat foute beslissingen kunnen gemaakt worden zonder het weten van de autofabrikanten. Zeer ongewenst als je met meerderen op de baan bent. 

Scenario’s zoals deze hebben voldoende verklaring nodig want enkel zo kan er transparantie gegarandeerd worden en kan de verantwoordelijk op het systeem gelegd worden. Een mogelijke manier om deze verklaringen te formuleren is doormiddel van uitvoerbare programma’s. Dit is, net als code in software, een tool waarmee scenario’s beschreven worden aan de hand van een domein-specifieke taal en wat de reactie is van de AI. Het voordeel van zulke programma’s is dat deze syntactisch correct zijn, wat betekent dat er geen ambigue interpretatie mogelijk is en dat alles precies geformuleerd is. Voor geschreven verklaringen zijn gelijkaardig aan dialogen in natuurlijke taal waarbij misinterpretatie wel zeer mogelijk is. 

Een framework voor realistische scenarios

Deze thesis is een uitbereiding van een bestaand framework waarin een AI computer programma’s genereert om problemen op te lossen en hierdoor verstaanbaar wordt. Een eerdere versie van het framework was enkel toepasbaar op simpele scenario’s. Bijvoorbeeld: origineel kon er enkel recht vooruit gegaan worden of in hoeken van 90 graden. Nieuwe aanpassingen zorgen ervoor dat een bocht van arbitraire grootte kan genomen worden, zoals 55,9 graden naar links, en dat de beweging vrij is. Dit is belangrijk voor het aansturen van robots waar er met meerdere vrijheden van beweging gehandeld moet worden.

 

Om de AI te trainen in een omgeving waarin zij zich vrij kan bewegen, vergelijkbaar met de echte wereld, werd een aangepaste simulator ontwikkeld. In deze omgeving bevindt zich een obstakel in het midden, terwijl de doelposities willekeurig in de vier hoeken van de omgeving worden geplaatst. Het doel van de AI is om de doelen te bereiken zonder tegen het obstakel te botsen, zoals weergegeven in Figuur 1. Om succesvol te zijn, beweegt de AI zich niet willekeurig door de omgeving. Het voert verschillende computerprogramma’s uit, zoals hieronder weergegeven, en evalueert prestaties van elk programma in de vorm van verzamelde beloningen. Vervolgens wordt het programma met de hoogst verzamelde beloning geselecteerd als de beste oplossing.

 

Sample Programs

Voorbeeldprogramma's

 

Figuur 1: Omgeving

Figuur 1: Omgeving

 

Als resultaat wordt de AI met succes getraind in deze omgeving en genereert zij computerprogramma’s die interpreteerbaar zijn voor mensen. Een voorbeeld van de gegenereerde computerprogramma’s en het bijbehorende uitvoeringsspoor is weergegeven in Figuur 2. Hierin vertrekt de AI vanuit een hoek van de omgeving en volgt zij een licht gebogen traject om de doelpositie in de tegenoverliggende hoek te bereiken

 

Figuur 2: Voorbeeldresultaat

Figuur 2: Voorbeeldresultaat

 

Waarom is verstaanbare AI belangrijk?

Deze thesis gaat verder dan louter het uitbreiden van een bestaand framwework voor meer realistische scenario’s. Het draagt bij aan een mogelijke oplossing voor praktische AI-systemen en om hun beslissingsproces te kunnen verklaren aan de hand van computerprogramma’s. Hierdoor kunnen ingenieurs het besluitvormingsproces inspecteren, valideren en aanpassen. Dit verhoogt de transparantie en versterkt het vertrouwen in AI-ondersteunde systemen.

In het eerder besproken voorbeeld van een autonoom voertuig kunnen ingenieurs dankzij dergelijke verklaarbare AI-systemen bijvoorbeeld nagaan en begrijpen waarom het voertuig ervoor koos om linksaf te slaan in plaats van rechtsaf.

Een ander belangrijk aspect van verstaanbare AI is het vermogen om oneerlijke of ongewenste beslissingen te helpen voorkomen. Ingenieurs kunnen problematisch gedrag identificeren en het systeem bijsturen naar robuustere en beter generaliseerbare oplossingen.

Daarnaast kunnen dergelijke systemen een belangrijke rol spelen in sectoren waar een tekort bestaat aan hoogopgeleide ingenieurs. De AI kan het grootste deel van het complexe werk uitvoeren, terwijl minder ervaren ingenieurs de gegenereerde computerprogramma’s kunnen inspecteren en verfijnen om de efficiëntie en prestaties verder te verbeteren. Deze aanpak is echter niet bedoeld om menselijke expertise te vervangen. Integendeel, ze ondersteunt een human-in-the-loop-methodologie, waarbij menselijk toezicht een essentieel onderdeel blijft van het besluitvormingsproces.

Bibliografie

1] T. M. Mitchell, Machine Learning. New York: McGraw-Hill, 1997, isbn: 9780071154673.


[2] R. S. Sutton and A. G. Barto, Reinforcement learning: an introduction (Adaptive compu-
tation and machine learning series), en, Second edition. Cambridge, Massachusetts: The
MIT Press, 2018, isbn: 978-0-262-03924-6.


[3] K. Hornik, M. Stinchcombe, and H. White, “Multilayer feedforward networks are universal
approximators,” Neural Networks, vol. 2, no. 5, pp. 359–366, 1989, issn: 0893-6080. doi:
https : / / doi . org / 10 . 1016 / 0893 - 6080(89 ) 90020 - 8. [Online]. Available: https :
//www.sciencedirect.com/science/article/pii/0893608089900208.


[4] V. Mnih et al., “Human-level control through deep reinforcement learning,” Nature, vol. 518,pp. 529–33, Feb. 2015. doi: 10.1038/nature14236.


[5] D. Gunning and D. W. Aha, “Darpa’s explainable artificial intelligence program,” AI Mag-
azine, vol. 40, no. 2, pp. 44–58, 2019. doi: https://doi.org/10.1609/aimag.v40i2.2850.
eprint: https://onlinelibrary.wiley.com/doi/pdf/10.1609/aimag.v40i2.2850. [On-
line]. Available: https://onlinelibrary.wiley.com/doi/abs/10.1609/aimag.v40i2.2850.


[6] H. Block, “A review of “perceptrons: An introduction to computational geometry,” In-
formation and Control, vol. 17, no. 5, pp. 501–522, 1970, issn: 0019-9958. doi: https:
/ / doi . org / 10 . 1016 / S0019 - 9958(70 ) 90409 - 2. [Online]. Available: https : / / www .
sciencedirect.com/science/article/pii/S0019995870904092.


[7] D. Trivedi, J. Zhang, S.-H. Sun, and J. J. Lim, “Learning to synthesize programs as inter-
pretable and generalizable policies,” in Advances in Neural Information Processing Systems,
A. Beygelzimer, Y. Dauphin, P. Liang, and J. W. Vaughan, Eds., 2021. [Online]. Available:
https://openreview.net/forum?id=wP9twkexC3V.


[8] A. B. Arrieta et al., Explainable artificial intelligence (xai): Concepts, taxonomies, oppor-
tunities and challenges toward responsible ai, 2019. arXiv: 1910.10045 [cs.AI]. [Online].
Available: https://arxiv.org/abs/1910.10045.


[9] Y. Bekkemoen, “Explainable reinforcement learning (xrl): A systematic literature review
and taxonomy,” Machine Learning, vol. 113, pp. 1–87, Nov. 2023. doi: 10.1007/s10994-
023-06479-7.


[10] O. Bastani, Y. Pu, and A. Solar-Lezama, “Verifiable reinforcement learning via policy ex-
traction,” in Advances in Neural Information Processing Systems, S. Bengio, H. Wallach,
H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, Eds., vol. 31, Curran Asso-
ciates, Inc., 2018. [Online]. Available: https://proceedings.neurips.cc/paper_files/
paper/2018/file/e6d8545daa42d5ced125a4bf747b3688-Paper.pdf.


[11] J. P. Inala, O. Bastani, Z. Tavares, and A. Solar-Lezama, “Synthesizing programmatic
policies that inductively generalize,” in 8th International Conference on Learning Repre-
sentations, ICLR 2020, Addis Ababa, Ethiopia, April 26-30, 2020, 2020. [Online]. Available:
https://openreview.net/forum?id=S1l8oANFDH.


[12] M. Ghasemi and D. Ebrahimi, “Introduction to reinforcement learning,” arXiv preprint
arXiv:2408.07712, 2024.


[13] J. Terven, “Deep reinforcement learning: A chronological overview and methods,” AI, vol. 6,p. 46, Feb. 2025. doi: 10.3390/ai6030046.


[14] L. P. Kaelbling, M. L. Littman, and A. W. Moore, Reinforcement learning: A survey, 1996.
arXiv: cs/9605103 [cs.AI]. [Online]. Available: https://arxiv.org/abs/cs/9605103.


[15] Y. LeCun and G. Hinton, “Deep learning,” Nature, vol. 521, pp. 436–44, May 2015. doi:
10.1038/nature14539.


[16] J. Schmidhuber, “Deep learning in neural networks: An overview,” Neural Networks, vol. 61, Apr. 2014. doi: 10.1016/j.neunet.2014.09.003.


[17] M. Sewak, Deep Reinforcement Learning: Frontiers of Artificial Intelligence. Jan. 2019,
isbn: 978-981-13-8284-0. doi: 10.1007/978-981-13-8285-7.


[18] V. Mnih et al., Playing atari with deep reinforcement learning, 2013. arXiv: 1312.5602
[cs.LG]. [Online]. Available: https://arxiv.org/abs/1312.5602.


[19] J. Schulman, F. Wolski, P. Dhariwal, A. Radford, and O. Klimov, Proximal policy op-
timization algorithms, 2017. arXiv: 1707 . 06347 [cs.LG]. [Online]. Available: https :
//arxiv.org/abs/1707.06347.


[20] V. Mnih et al., Asynchronous methods for deep reinforcement learning, 2016. arXiv: 1602.01783 [cs.LG]. [Online]. Available: https://arxiv.org/abs/1602.01783.


[21] F. Sovrano, F. Vitali, and M. Palmirani, “Making things explainable vs explaining: Require-
ments and challenges under the gdpr,” in AI Approaches to the Complexity of Legal Systems
XI-XII. Springer International Publishing, 2021, pp. 169–182, isbn: 9783030898113. doi:
10.1007/978-3-030-89811-3_12. [Online]. Available: http://dx.doi.org/10.1007/
978-3-030-89811-3_12.


[22] G. Montavon, W. Samek, and K.-R. M¨uller, “Methods for interpreting and understanding
deep neural networks,” Digital Signal Processing, vol. 73, pp. 1–15, Feb. 2018, issn: 1051-
2004. doi: 10.1016/j.dsp.2017.10.011. [Online]. Available: http://dx.doi.org/10.
1016/j.dsp.2017.10.011.


[23] A. Fernandez, F. Herrera, O. Cordon, M. Jose del Jesus, and F. Marcelloni, “Evolutionary
fuzzy systems for explainable artificial intelligence: Why, when, what for, and where to?”
Comp. Intell. Mag., vol. 14, no. 1, pp. 69–81, Feb. 2019, issn: 1556-603X. doi: 10.1109/
MCI.2018.2881645. [Online]. Available: https://doi.org/10.1109/MCI.2018.2881645.


[24] M. Gleicher, “A framework for considering comprehensibility in modeling,” Big Data, vol. 4, no. 2, pp. 75–88, 2016. doi: 10.1089/big.2016.0007. [Online]. Available: https://doi.
org/10.1089/big.2016.0007.


[25] M. W. Craven and J. W. Shavlik, “Extracting comprehensible models from trained neural
networks,” 1996. [Online]. Available: https://api.semanticscholar.org/CorpusID:
121360.


[26] R. Guidotti, A. Monreale, S. Ruggieri, F. Turini, D. Pedreschi, and F. Giannotti, A survey
of methods for explaining black box models, 2018. arXiv: 1802.01933 [cs.CY]. [Online].
Available: https://arxiv.org/abs/1802.01933

[27] Z. C. Lipton, The mythos of model interpretability, 2017. arXiv: 1606 . 03490 [cs.LG].
[Online]. Available: https://arxiv.org/abs/1606.03490.


[28] D. Gunning, E. Vorm, J. Wang, and M. Turek, “Darpa ’s explainable ai ( xai ) program:
A retrospective,” Applied AI Letters, vol. 2, Dec. 2021. doi: 10.1002/ail2.61.


[29] A. M. Salih et al., “A perspective on explainable artificial intelligence methods: Shap and
lime,” Advanced Intelligent Systems, vol. 7, no. 1, 2024, issn: 2640-4567. doi: 10.1002/
aisy.202400304. [Online]. Available: http://dx.doi.org/10.1002/aisy.202400304.


[30] M. T. Ribeiro, S. Singh, and C. Guestrin, ““why should i trust you?”: Explaining the predictions of any classifier,” in Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, USA, 2016, pp. 1135–1144.


[31] A. Verma, V. Murali, R. Singh, P. Kohli, and S. Chaudhuri, Programmatically interpretable
reinforcement learning, 2019. arXiv: 1804 . 02477 [cs.LG]. [Online]. Available: https :
//arxiv.org/abs/1804.02477.


[32] I. Higgins et al., “Beta-VAE: Learning basic visual concepts with a constrained varia-
tional framework,” in International Conference on Learning Representations, 2017. [On-
line]. Available: https://openreview.net/forum?id=Sy2fzU9gl.
 

Download scriptie (6.25 MB)
Universiteit of Hogeschool
Vrije Universiteit Brussel
Thesis jaar
2026
Promotor(en) en begeleiders
Ann Nowé, Senne Deproost