Simultaneous interpreting with visual input: A preliminary mixed-methods study into the challenges of multimodal input in PowerPoint-supported speeches

Denise Kroesen
Dit inleidende onderzoek maakt gebruik van mixed-methods research (MMR) om meer inzicht te verkrijgen in de uitdagingen van simultaan tolken met visuele input, in dit onderzoek in de vorm van een powerpointpresentatie. Daarbij integreert het op unieke wijze inzichten uit de tolkwetenschap, Cognitive Load Theory en onderzoek naar multimodaliteit.

Wat PowerPoint doet met de hersenen en prestaties van simultaantolken

Denk eens terug aan de laatste presentatie die je hebt bijgewoond. De kans is groot dat je je niet alleen de ruimte, het publiek en de spreker herinnert, maar ook een PowerPoint. In 2001 schatte Microsoft al dat er dagelijks ongeveer 30 miljoen powerpointpresentaties gegeven werden. Sindsdien zijn er geen nieuwe schattingen gepubliceerd, maar zeventien jaar later is de powerpointpresentatie niet meer weg te denken uit onze gedigitaliseerde maatschappij.

We weten dus dat PowerPoint veel wordt gebruikt, maar we weten niet altijd hoe we PowerPoint moeten gebruiken. Dat blijkt wel uit de talrijke handboeken en websites voor het creëren van effectieve PowerPoints. De software zelf biedt eindeloze mogelijkheden — een plaatje hier, een animatie-effectje daar — maar hoe verleidelijk het ook kan zijn om je PowerPoint-skills tentoon te spreiden, het belangrijkste is dat het publiek je boodschap begrijpt. Dat geldt voor simultaantolken in het bijzonder. Zij zijn een speciaal soort publiek, omdat zij de boodschap niet alleen moeten begrijpen, maar deze ook in een andere taal moeten overbrengen aan het overige publiek. In onze geglobaliseerde wereld zijn simultaantolken onmisbaar: zij maken communicatie overal mogelijk, zelfs tot op het hoogste internationale niveau, zoals bij de Europese instellingen en de Verenigde Naties. Toch is onderzoek naar simultaan tolken met een powerpointpresentatie nog erg schaars. Het was daarom hoog tijd om te onderzoeken welk effect een powerpointpresentatie op de prestatie van simultaantolken heeft.

Een kwestie van cognitieve belasting

Om te begrijpen hoe een powerpointpresentatie de prestaties van simultaantolken kan beïnvloeden, moeten we eerst weten wat er zich in hun hersenen afspeelt. Tot op zekere hoogte is dit hetzelfde als bij niet-tolkend publiek. Iedereen die een powerpointpresentatie bijwoont, krijgt informatie binnen via twee kanalen: het auditieve kanaal en het visuele kanaal. Je luistert naar de spreker en je ziet de spreker en de PowerPoint. Tegelijkertijd kan die informatie verbaal of non-verbaal zijn. De woorden van de spreker en tekst in de PowerPoint, bijvoorbeeld, zijn verbale informatie. Onder non-verbale informatie vallen onder andere de lichaamstaal en manier van praten van de spreker en plaatjes en animatie-effecten in de PowerPoint. Een powerpointpresentatie is dus een complex geheel van verschillende soorten informatie, die ook wel 'modi' genoemd worden. Met andere woorden: een powerpointpresentatie is een multimodaal product.

Om dit multimodale product te analyseren, zetten we een deel van de verwerkingscapaciteit van onze hersenen in. Hoeveel precies, dat is afhankelijk van hoe zwaar onze hersenen belast worden door de powerpointpresentatie. Hoe meer we cognitief belast worden, des te meer verwerkingscapaciteit we nodig hebben om informatie te analyseren. Onze verwerkingscapaciteit is echter beperkt. Daarom is het belangrijk de cognitieve belasting zo laag mogelijk te houden, want als een powerpointpresentatie meer verwerkingscapaciteit vereist dan er beschikbaar is, kunnen we geen informatie meer verwerken. Dat heet cognitieve overbelasting. Het is dus cruciaal dat sprekers de cognitieve belasting van hun powerpointpresentatie tot een minimum beperken, zodat hun publiek hen blijft begrijpen. Dat geldt zeker als er simultaantolken bij de presentatie aanwezig zijn. Zij raken namelijk sneller cognitief overbelast dan niet-tolkend publiek, omdat zij naast het luisteren naar en analyseren van informatie tegelijkertijd nog andere belangrijke taken uitvoeren. Aangezien simultaantolken altijd achterlopen op de spreker, moeten zij bijvoorbeeld continu informatie opslaan in hun werkgeheugen totdat zij deze in de andere taal hebben weergegeven. Daarnaast kost het formuleren van de boodschap in een andere taal ook verwerkingscapaciteit. Verder moeten simultaantolken ook naar zichzelf luisteren om te controleren of wat zij zeggen correct is. Ten slotte neemt het coördineren van al deze taken ook verwerkingscapaciteit in beslag. Als simultaantolken cognitief overbelast raken, is er onvoldoende verwerkingscapaciteit beschikbaar voor een van deze taken, waardoor zij fouten gaan maken.

Gelukkig bestaat er een manier om de cognitieve belasting van een powerpointpresentatie te verlagen. Cognitieve belasting bestaat namelijk uit verschillende componenten. Een daarvan is de zogenaamde 'irrelevante cognitieve belasting', onnodige cognitieve belasting die veroorzaakt wordt door de opmaak van een PowerPoint. En die is eenvoudig te manipuleren …

Experiment

Voor ons onderzoek hebben wij dan ook gebruikgemaakt van dit inzicht. We hebben twee toespraken verzameld en voor elke toespraak twee PowerPoints gemaakt met een compleet verschillende opmaak. Op basis van cognitieve richtlijnen van andere auteurs voor het maken van PowerPoints hebben we een 'cognitief goede' PowerPoint (PP+) en een 'cognitief slechte' PowerPoint (PP−) gemaakt (hieronder dezelfde dia uit respectievelijk de PP+ en PP−).

Netjes opgemaakte PowerPoint-diaSlordig opgemaakte PowerPoint-dia

Vervolgens hebben zes student-tolken de twee toespraken uit het Engels naar het Nederlands getolkt, zonder PowerPoint, met een PP+ of met een PP−. Naderhand hebben wij hen geïnterviewd en hun tolkprestaties geanalyseerd op fouten. Volgens de theorie zou simultaan tolken met een PowerPoint meer cognitieve belasting (en dus meer fouten) met zich meebrengen dan simultaan tolken zonder PowerPoint. Wij verwachtten bovendien dat de PP−'s de deelnemers meer zouden belasten dan de PP+'s.

Resultaten

Na analyse van de interviews bleek inderdaad dat deelnemers die met een PowerPoint tolkten zich zwaarder cognitief belast voelden dan deelnemers die zonder PowerPoint tolkten. Dat was ook te merken aan de tolkprestaties: deelnemers die met een PowerPoint tolkten, maakten gemiddeld 29,5% meer fouten en hun foutenscore lag gemiddeld 37,3% hoger. Ze vonden de PowerPoints echter wel nuttig, zelfs als het om een PP− ging, wat wij niet hadden verwacht. Ook verrassend was dat de deelnemers die met een PP− tolkten iets beter presteerden dan de deelnemers die met een PP+ tolkten, al gaven de deelnemers tijdens de interviews wel aan dat ze de PP− door de opmaak moeilijker konden analyseren.

Er is wel voorzichtigheid geboden bij het interpreteren van deze resultaten vanwege het kleine aantal deelnemers. Toch levert dit onderzoek ongetwijfeld een waardevolle bijdrage tot de tolkwetenschap, omdat het op unieke wijze inzichten uit de tolkwetenschap, de cognitievebelastingstheorie en onderzoek naar multimodaliteit heeft geïntegreerd en aanzet tot vervolgonderzoek. Bovendien herbergt het een schat aan cognitieve tips en tricks die zeker van pas zullen komen, of je ze nu gebruikt om je volgende PowerPoint te maken of gewoon indruk wilt maken op je studiegenoten of collega's: "Interessante presentatie, maar de irrelevante cognitieve belasting had van mij wel wat minder gemogen …"

Bibliografie

References

Association Internationale des Interprètes de Conférence. (2014). Code of professional ethics. Retrieved from http://aiic.net/page/6724

Alonso Bacigalupe, L. (1999). Visual contact in simultaneous interpreting: Results of an experimental study. In A. Álvarez Lugrís & A. Fernández Ocampo (Eds.), Anovar/anosar estudios de traducción e interpretación (Vol. 1, pp. 123–137). Vigo, Spain: Servicio de Publicacións da Universidade de Vigo.

Anderson, J. D. (1996). The reality of illusion: An ecological approach to cognitive film theory. Carbondale, IL: Southern Illinois University Press.

Anderson, L. (1979). Simultaneous interpretation: Contextual and translation aspects (Master's thesis). Retrieved from http://spectrum.library.concordia.ca/5/1/MK43196​.pdf

Apperson, J. M., Laws, E. L., & Scepansky, J. A. (2006). The impact of presentation graphics on students' experience in the classroom. Computers & Education47, 116–126. doi:10.1016/j.compedu.2004.09.003

Baddeley, A. D. (1999). Essentials of human memory. Hove, United Kingdom: Psychology Press.

Balzani, M. (1990). Le contact visuel en interprétation simultanée: Resultats d'une expérience (français-italien). In L. Gran & C. Taylor (Eds.), Aspects of applied and experimental research on conference interpretation: Round table on interpretation research November 16, 1989 (pp. 93–100). Udine, Italy: Campanotto.

Bateman, J., Wildfeuer, J., & Hiippala, T. (2017). Multimodality: Foundations, research and analysis: A problem-oriented introduction. Berlin, Germany: De Gruyter Mouton.

Bordwell, D. (1989). A case for cognitivism. Iris9, 11–40.

Brünken, R., Seufert, T., & Paas, F. (2010). Measuring cognitive load. In J. Plass, R. Moreno, & R. Brünken (Eds.), Cognitive load theory (pp. 181–202). Cambridge, United Kingdom: Cambridge University Press.

Bucher, H.-J., & Niemann, P. (2012). Visualizing science: The reception of powerpoint presentations. Visual Communication11(3), 283–306. doi:10.1177/14703572​12446409

Bühler, H. (1985). Conference interpreting: A multichannel communication phenomenon. Meta30(1), 49–54. doi:10.7202/002176ar

Carter, M. (2013). Designing science presentations: A visual guide to figures, papers, slides, posters, and more. London, United Kingdom: Academic Press.

Chunk. (n.d.). In Oxford's online dictionary. Retrieved from http://en.oxforddictionaries.com​/definition/chunk

De Jong, N. (2012). Does time pressure help or hinder oral fluency? In N. de Jong, K. Juffermans, M. Keijzer, & L. Rasier (Eds.), Papers of the Anéla 2012 applied linguistics conference (pp. 43–52). Delft, The Netherlands: Eburon.

Djonov, E., & Van Leeuwen, T. (2011). The semiotics of texture: from tactile to visual. Visual Communication10(4), 541–564. doi:10.1177/1470357211415786

Djonov, E., & Van Leeuwen, T. (2013). Between the grid and composition: Layout in Powerpoint's design and use. Semiotica197, 1–34. doi:10.1515/sem-2013-0078

Fovea centralis. (2018, January 17). In Wikipedia. Retrieved from http://en.wikipedia.org​/w/index.php?title=Fovea_centralis&oldid=821021857

Fresno, N. (2014). Is a picture worth a thousand words?: The role of memory in audio description. Across Languages and Cultures15(1), 111–129. doi:10.1556/Acr.15.2014​.1.6

Gaut, B. (2010). A philosophy of cinematic art. Cambridge, United Kingdom: Cambridge University Press.

Gile, D. (2009). Basic concepts and models for interpreter and translator training (Rev. ed.). Amsterdam, The Netherlands: John Benjamins.

Körmendy, L. (2010). Visueller Input beim Simultandolmetschen: Eine experimentelle Untersuchung zur Wirkung von PowerPoint-Präsentationen (Master's thesis). Retrieved from http://othes.univie.ac.at/10854/

Kosslyn, S. M., Kievit, R. A., Russell, A. G., & Shephard, J. M. (2012). PowerPoint®presentation flaws and failures: A psychological analysis. Frontiers in Psychology3, 1–22. doi:10.3389/fpsyg.2012.00230

Kress, G. (2010). Multimodality: A social semiotic approach to contemporary communication. London, United Kingdom: Routledge.

Kress, G., Jewitt, C., Ogborn, J., & Tsatsarelis, C. (2001). Multimodal teaching and learning: The rhetorics of the science classroom. London, United Kingdom: Continuum.

Kress, G., & Van Leeuwen, T. (2001). Multimodal discourse: The modes and media of contemporary communication. London, United Kingdom: Arnold.

Kruger, J.-L. (2016). Psycholinguistics and audiovisual translation. Target28(2), 276–287. doi:10.1075/target.28.2.08kru

Kruger, J.-L., & Steyn, F. (2014). Subtitles and eye tracking: Reading and performance. Reading Research Quarterly49(1), 105–120. doi:10.1002/rrq.59

Kurz, I. (1996). Interpreting: Sound vs. sound and picture. The Jerome Quarterly12(1), 5–8.

Mayer, R. E. (2009). Multimedia learning (2nd ed.). Cambridge: Cambridge University Press.

McNamara, D. S., Graesser, A. C., McCarthy, P. M., & Cai, Z. (2014). Automated evaluation of text and discourse with Coh-Metrix. New York, NY: Cambridge University Press.

Miller, G. A. (1956). The magical number seven, plus or minus two: Some limits on our capacity for processing information. The Psychological Review63, 81–97.

Moreno, R., & Park, B. (2010). Cognitive load theory: Historical development and relation to other theories. In J. Plass, R. Moreno, & R. Brünken (Eds.), Cognitive load theory (pp. 9–28). Cambridge, United Kingdom: Cambridge University Press.

Paivio, A. (1986). Mental representations: A dual-coding approach. Oxford, United Kingdom: Oxford University Press.

Parker, I. (2001, May). Absolute PowerPoint: Can a software package edit our thoughts? The New Yorker, 76–87.

Perego, E., Del Missier, F., Porta, M., & Mosconi, M. (2010). The cognitive effectiveness of subtitle processing. Media Psychology13, 243–272. doi:10.1080/15213269.2010​.502873

Plass, J. L., Moreno, R., & Brünken, R. (Eds.). (2010). Cognitive load theory. Cambridge, United Kingdom: Cambridge University Press.

Poyatos, F. (1997). The reality of multichannel verbal-nonverbal communication in simultaneous and consecutive interpretation. In F. Poyatos (Ed.), Nonverbal communication and translation: New perspectives and challenges in literature, interpretation and the media (pp. 249–282). Amsterdam, The Netherlands: John Benjamins.

Raybould, S. (2015). Presentation genius: 40 insights from the science of presenting. London, United Kingdom: Hodder & Stoughton.

Rennert, S. (2008). Visual input in simultaneous interpreting. Meta531, 204–217. doi:10.7202/017983ar

Rennert, S. (2015). Visual access. In F. Pöchhacker (Ed.), Routledge encyclopedia of interpreting studies (pp. 439–440). London, United Kingdom: Routledge.

Romero-Fresco, P., & Pöchhacker, F. (2017). Quality assessment in interlingual live subtitling: The NTR model. Linguistica Antverpiensia, New Series: Themes in Translation Studies14, 153–170.

Salience (neuroscience). (2017, June 21). In Wikipedia. Retrieved from http://en.wikipedia.org​/w/index.php?title=Salience_(neuroscience)&oldid=786764598

Savoy, A., Proctor, R. W., & Salvendy, G. (2009). Information retention from PowerPoint™ and traditional lectures. Computers & Education52, 858–867. doi:10.1016/j.compedu.2008.12.005

Setton, R. (2015). Simultaneous with text. In F. Pöchhacker (Ed.), Routledge encyclopedia of interpreting studies (pp. 385–386). London, United Kingdom: Routledge.

Susskind, J. E. (2005). PowerPoint's power in the classroom: Enhancing students' self-efficacy and attitudes. Computers & Education45, 203–215. doi:10.1016/j.compedu.2004.07​.005

Susskind, J. E. (2008). Limits of PowerPoint's power: Enhancing students' self-efficacy and attitudes but not their behavior. Computers & Education50, 1228–1239. doi:10.1016​/j.compedu.2006.12.001

Sweller, J. (1988). Cognitive load during problem solving: Effects on learning. Cognitive Science12(2), 257–285. doi:10.1207/s15516709cog1202_4

Sweller, J. (2010). Cognitive load theory: Recent theoretical advances. In J. Plass, R. Moreno, & R. Brünken (Eds.), Cognitive load theory (pp. 29–47). Cambridge, United Kingdom: Cambridge University Press.

Szabo, A., & Hastings, N. (2000). Using IT in the undergraduate classroom: Should we replace the blackboard with PowerPoint? Computers & Education35, 175–187. doi:10.1016​/S0360-1315(00)00030-0

Van Leeuwen, T., Djonov, E., & O'Halloran, K. L. (2013). "David Byrne really does love Powerpoint": Art as research on semiotics and semiotic technology. Social Semiotics23(3), 409–423. doi:10.1080/10350330.2012.738998

Zabalbeascoa, P. (2008). The nature of the audiovisual text and its parameters. In J. Díaz Cintas (Ed.), The didactics of audiovisual translation (pp. 21–38). Amsterdam, The Netherlands: John Benjamins.

Zagar Galvão, E. (2009). Speech and gesture in the booth: A descriptive approach to multimodality in simultaneous interpreting. In D. De Crom (Ed.), Translation and the (trans)formation of identities, selected papers of the CETRA research seminar in translation studies 2008 (pp. 1–26). Retrieved from http://www.arts.kuleuven.be​/cetra/papers/files/galvao.pdf

Zagar Galvão, E., & Galhano Rodrigues, I. (2010). The importance of listening with one's eyes: A case study of multimodality in simultaneous interpreting. In J. Díaz Cintas, A. Matamala, & J. Neves (Eds.), Media for all: Vol. 2. New insights into audiovisual translation and media accessibility (pp. 241–253). Amsterdam, The Netherlands: Rodopi.

Zagar Galvāo, E., & Galhano Rodrigues, I. (2015). Nonverbal communication. In F. Pöchhacker (Ed.), Routledge encyclopedia of interpreting studies (pp. 280–281). London, United Kingdom: Routledge.

Universiteit of Hogeschool
Master Tolken
Publicatiejaar
2018
Promotor(en)
prof. dr. A. Remael, dr. J.J.J. Ureel
Kernwoorden