Connecting Neurons

Hannah Pinson
Met behulp van enkele recente doorbraken in verschillende takken van de wetenschap, waaronder in het kweken van neuronen en het heel precieze meten van hun activiteit, zijn we erin geslaagd de causale connectiviteit — welk neuron stuurt signalen naar welk ander neuron — in een in vitro netwerk van neuronen in kaart te brengen. In de scriptie Fysica worden deze causale connecties in verband gebracht met de stochastiche activiteit van de individuele neuronen. In de scriptie computerwetenschappen worden de parameters van de causale connecties vertaald naar artficiële neurale netwerken.

De verborgen muziek in het drummen van neuronen

Neuronen – de cellen waaruit je hersenen en zenuwstelsel bestaan – zijn een beetje als drummers, maar dan wel met erg weinig talent. Om informatie te verwerken zenden ze voortdurend kleine elektrische signalen uit die, indien je ze zou vertalen naar muziek, zowat de slechtst denkbare drumsolo’s opleveren: zonder enig ritme en compleet uit de maat, een beetje alsof een driejarige kleuter een wel heel experimenteel stukje jazz aan het opvoeren is. Toch vormen deze elektrische signalen de basis van alles wat je zegt, denkt en doet.  Er zit dus zeker een betekenis in de soms vreemde opeenvolgingen van deze zogenaamde zenuwimpulsen. In dit afstudeerwerk, dat ik uitvoerde als VUB studente aan het Massachusetts Institute of Technology (MIT) onder leiding van professor Max Tegmark, hebben we de communicatiepatronen in een complex netwerk van menselijke neuronen in kaart gebracht. En verborgen in het ogenschijnlijk ongestructureerde kabaal vonden we weldegelijk muziek. Onze analyse helpt niet alleen de menselijke hersenen en intelligentie beter te begrijpen; ze helpt ook onze inzichten in artificiële neurale netwerken – een veelgebruikte techniek in de artificiële intelligentie – verder uit te breiden.

Hersenen in een schaaltje: van huidcellen over stamcellen tot neuronen

Om de communicatiepatronen in een netwerk van neuronen te ontdekken, heb je natuurlijk allereerst een netwerk van neuronen nodig. Het moet daarnaast ook mogelijk zijn om de zenuwimpulsen die de neuronen in het netwerk naar elkaar verzenden heel precies te meten. Omdat individuele neuronen zo klein zijn (slechts enkele micrometers, of een paar duizendsten van een millimeter) en de elektrische signalen die ze uitzenden zo zwak, is het precieze meten van de elektrische activiteit van een groot aantal neuronen een immense uitdaging. Tot voor kort was het technisch gezien zelfs zo goed als onmogelijk. Dit zorgt er dan weer voor dat heel veel vragen over de communicatiepatronen van neuronen tot op vandaag onopgelost zijn, wat het onderzoeken ervan juist zo interessant maakt.

microspcopy picture of a neural netwerk cultured on top of the sensor grid

Nog steeds is het praktisch niet realiseerbaar om precieze metingen uit te voeren in echte hersenen, menselijk of niet, omdat de neuronen daar te dicht op elkaar gepakt zitten. Om die reden bestudeerden we netwerken gevormd door in een labo gekweekte neuronen. Deze hersencellen werden door een team van collega-wetenschappers aan Harvard University verkregen uit geïnduceerde stamcellen: in tegenstelling tot de stamcellen die uit embryo’s gehaald worden, zijn geïnduceerde stamcellen afkomstig van huidcellen die ‘geherprogrammeerd' werden tot stamcellen. Uiteindelijk konden deze verkregen stamcellen dan omgevormd worden tot hersencellen. De netwerken die we bestudeerden bestonden dus uit dit soort gekweekte menselijke neuronen; neuronen die, eens ze bovenop onze sensor geplaatst werden, spontaan verbindingen met elkaar begonnen te vormen. Dankzij een recent ontwikkelde sensor met meer dan 26000 zeer gevoelige meetpunten konden we vervolgens de geproduceerde zenuwimpulsen nauwkeurig registreren.

Foto (gemaakt met een microscoop) van de gekweekte neuronen die groeien bovenop het raster van de sensor.

Drummende neuronen

Daarna restte ons nog de taak het kluwen aan zenuwimpulsen te ontwarren. Uiteindelijk wilden we de communicatiepatronen in het netwerk ontdekken: welke neuronen zenden zenuwimpulsen uit naar welke andere neuronen, en hoe lang doen die signalen erover om hun doel te bereiken? Deze opdracht werd bemoeilijkt door het wispelturige karakter van de neuronen: soms produceren ze op willekeurige (“stochastische”) tijdstippen zenuwimpulsen, zonder daartoe eerst een signaal van een ander neuron te hebben ontvangen. De resulterende dataset van zenuwimpulsen lijkt dus een beetje op de geluiden geproduceerd door een grote bende ongeoefende drummers -iedere drummer schijnt zomaar wat op de trommels te slaan, maar sommige tromroffels zijn eigenlijk een antwoord op het slagwerk van één of meerdere andere drummers. Met behulp van geavanceerde statistische methodes en speciale computerprogramma's konden we de verbanden tussen de uitgezonden signalen achterhalen. In mijn thesis in de Fysica (Connecting Neurons: A Stochastic Model of Information Flow in Cultured Networks of Human Neurons; promotor prof. Vincent Ginis) bespreek ik de resultaten en hun wiskundige achtergrond. Zo toonden we bijvoorbeeld aan dat in netwerken waar de neuronen veel connecties vormen (de drummers luisteren naar een groot aantal andere drummers) de zenuwimpulsen gesynchroniseerd raken (de drummers beginnen in dezelfde maat te drummen). Onze zenuwcellen worden dus betere drummers naarmate ze meer luisteren naar andere drummende neuronen. Voor het eerst konden we het netwerk aan de basis van die conclusie blootleggen.

Van biologische naar artificiële neurale netwerken

De inzichten die we in biologische neurale netwerken verwerven, kunnen ook gebruikt worden om vooruitgangen te boeken op het domein van hun artificiële tegenhangers. Artificiële neurale netwerken zijn computerprogramma’s waarin sommige eigenschappen van biologische neuronen verwerkt zijn. Ze worden gebruikt in toepassingen die automatische en intelligente oplossingen vereisen, zoals zelfrijdende auto’s, het voorspellen van de beurs of het automatische herkennen van objecten in foto's. Hoewel deze artificiële netwerken vaak buitengewone resultaten opleveren, is er ook nog veel ruimte voor verbetering. Als we dus beter zouden begrijpen hoe biologische netwerken informatie verwerken - en hoe ze erin slagen dat zo efficiënt te doen - kunnen we deze inzichten vertalen naar nieuwe en efficiëntere artificiële neurale netwerken. In mijn thesis Artificiële Intelligentie (Connecting Neurons: Comparing Computations in Artificial Neural Networks and Cultured Networks of Human Neurons; promotor prof. Tom Lenaerts) toon ik aan hoe we de communicatiepatronen en eigenschappen die we ontdekten in de biologische neurale netwerken, kunnen vertalen naar parameters van een specifiek soort efficiënt artificieel neuraal netwerk.

De inzichten die we verkregen in neurale netwerken - biologische en artificiële - kunnen uiteraard nog verder verdiept worden. We weten nu bijvoorbeeld hoe eenvoudige ritmes van zenuwimpulsen tot stand komen, en hoe die ritmes verband houden met het aantal andere neuronen waarvan een neuron signalen ontvangt. Maar dit zijn slechts eenvoudige ritmes. Uiteindelijk hopen we, in steeds complexere neurale netwerken, de muziek van symfonische orkesten te ontwaren.

Bibliografie

Theodore Wilbur Anderson. An introduction to multivariate statistical analysis , volume 2 . Wiley New York, 1958 .

Ehsan Arabzadeh, Stefano Panzeri, and Mathew E Diamond. Deciphering the spike train of a sensory neuron: counts and temporal patterns in the rat whisker pathway. Journal of Neuroscience , 26 (36 ):9216 –9226 ,

2006 .

 

Frederico AC Azevedo, Ludmila RB Carvalho, Lea T Grinberg,

José Marcelo Farfel, Renata EL Ferretti, Renata EP Leite, Wilson Jacob

Filho, Roberto Lent, and Suzana Herculano-Houzel. Equal numbers

of neuronal and nonneuronal cells make the human brain an isometrically

scaled-up primate brain. Journal of Comparative Neurology , 513 (5 ):

532 –541 , 2009 .

 

Wyeth Bair and Christof Koch. Temporal precision of spike trains in extrastriate

cortex of the behaving macaque monkey. Neural computation ,

8 (6 ):1185 –1202 , 1996 .

 

Wyeth Bair, Christof Koch, William Newsome, and Kenneth Britten.

Power spectrum analysis of bursting cells in area mt in the behaving monkey. Journal of Neuroscience , 14 (5 ):2870 –2892 , 1994 .

Robert E Baker, Michael A Corner, and Jaap van Pelt. Spontaneous neuronal

discharge patterns in developing organotypic mega-co-cultures

of neonatal rat cerebral cortex. Brain research , 1101 (1 ):29 –35 , 2006 .

 

William Bialek, Fred Rieke, RR De Ruyter Van Steveninck, and David

Warland. Reading a neural code. Science , 252 (5014 ):1854 –1857 , 1991 .

Stefano Boccaletti, Vito Latora, Yamir Moreno, Martin Chavez, and D-U

Hwang. Complex networks: Structure and dynamics. Physics reports ,

424 (4 -5 ):175 –308 , 2006 .

 

Kenneth H Britten, William T Newsome, Michael N Shadlen, Simona

Celebrini, and J Anthony Movshon. A relationship between behavioral

choice and the visual responses of neurons in macaque mt. Visual

neuroscience , 13 (1 ):87 –100 , 1996 .

 

Nicolas Brunel. Dynamics of sparsely connected networks of excitatory

and inhibitory spiking neurons. Journal of computational neuroscience , 8

(3 ):183 –208 , 2000 .

 

 

Michela Chiappalone, Marco Bove, Alessandro Vato, Mariateresa

Tedesco, and Sergio Martinoia. Dissociated cortical networks show

spontaneously correlated activity patterns during in vitro development.

Brain research , 1093 (1 ):41 –53 , 2006 .

 

Michela Chiappalone, Alessandro Vato, Luca Berdondini, Milena

Koudelka-Hep, and Sergio Martinoia. Network dynamics and synchronous

activity in cultured cortical neurons. International journal of

neural systems , 17 (02 ):87 –103 , 2007 .

 

Carson C Chow and John A White. Spontaneous action potentials due to

channel fluctuations. Biophysical journal , 71 (6 ):3013 –3021 , 1996 .

Anne K Churchland, Roozbeh Kiani, Rishidev Chaudhuri, Xiao-Jing

Wang, Alexandre Pouget, and Michael N Shadlen. Variance as a signature

of neural computations during decision making. Neuron , 69 (4 ):

818 –831 , 2011 .

 

Mark M Churchland and LF Abbott. Two layers of neural variability.

Nature neuroscience , 15 (11 ):1472 , 2012 .

 

Mark M Churchland, M Yu Byron, John P Cunningham, Leo P Sugrue,

Marlene R Cohen, Greg S Corrado, William T Newsome, Andrew

M Clark, Paymon Hosseini, Benjamin B Scott, et al. Stimulus

onset quenches neural variability: a widespread cortical phenomenon.

Nature neuroscience , 13 (3 ):369 , 2010 .

 

Marlene R Cohen and Adam Kohn. Measuring and interpreting neuronal

correlations. Nature neuroscience , 14 (7 ):811 , 2011 .

David Roxbee Cox and Valerie Isham. Point processes , volume 12 . CRC

Press, 1980 .

 

Roger T Dean and William TM Dunsmuir. Dangers and uses of crosscorrelation

in analyzing time series in perception, performance, movement,

and neuroscience: The importance of constructing transfer function

autoregressive models. Behavior research methods , 48 (2 ):783 –802 ,

2016 .

 

Dominique Debanne, Emilie Campanac, Andrzej Bialowas, Edmond

Carlier, and Gisèle Alcaraz. Axon physiology. Physiological reviews , 91

(2 ):555 –602 , 2011 .

 

Alain Destexhe. Oscillations, complex spatiotemporal behavior, and information

transport in networks of excitatory and inhibitory neurons.

Physical Review E , 50 (2 ):1594 , 1994 .

 

Scott N Deyo and William W Lytton. Inhibition can disrupt hypersynchrony

in model neuronal networks. Progress in neuropsychopharmacology

& biological psychiatry , 21 (5 ):735 –750 , 1997 .

 

Ricardo Dolmetsch and Daniel H Geschwind. The human brain in a dish:

the promise of ipsc-derived neurons. Cell , 145 (6 ):831 –834 , 2011 .

 

Rodney J Douglas, KA Martin, and David Whitteridge. An intracellular

analysis of the visual responses of neurones in cat visual cortex. The

Journal of physiology , 440 (1 ):659 –696 , 1991 .

 

Julia H Downes, Mark W Hammond, Dimitris Xydas, Matthew C

Spencer, Victor M Becerra, Kevin Warwick, Ben J Whalley, and Slawomir

J Nasuto. Emergence of a small-world functional network in

cultured neurons. PLoS computational biology , 8 (5 ):e1002522 , 2012 .

 

Martha J Farah. Emerging ethical issues in neuroscience. Nature neuroscience ,

5 (11 ):1123 , 2002 .

 

Wulfram Gerstner, Werner M Kistler, Richard Naud, and Liam Paninski.

Neuronal dynamics: From single neurons to networks and models of

cognition . Cambridge University Press, 2014 .

 

David E Goldman. Potential, impedance, and rectification in membranes.

The Journal of general physiology , 27 (1 ):37 –60 , 1943 .

 

Charles M Gray, Peter König, Andreas K Engel, and Wolf Singer. Oscillatory

responses in cat visual cortex exhibit inter-columnar synchronization

which reflects global stimulus properties. Nature , 338 (6213 ):334 ,

1989 .

 

Neal A Hessler, Aneil M Shirke, and Roberto Malinow. The probability of

transmitter release at a mammalian central synapse. Nature , 366 (6455 ):

569 , 1993 .

 

AL Hodgkin. Evidence for electrical transmission in nerve. The Journal of

physiology , 90 (2 ):183 –210 , 1937 .

 

Alan L Hodgkin and Andrew F Huxley. A quantitative description of

membrane current and its application to conduction and excitation in

nerve. The Journal of physiology , 117 (4 ):500 –544 , 1952 .

 

Maciej Kami´ nski, Mingzhou Ding, Wilson A Truccolo, and Steven L

Bressler. Evaluating causal relations in neural systems: Granger causality,

directed transfer function and statistical assessment of significance.

Biological cybernetics , 85 (2 ):145 –157 , 2001 .

 

Eric R Kandel, James H Schwartz, Thomas M Jessell, Department of Biochemistry,

Molecular Biophysics Thomas Jessell, Steven Siegelbaum,

and AJ Hudspeth. Principles of neural science , volume 4 . McGraw-hill

New York, 2000 .

 

Adam Kepecs, Xiao-Jing Wang, and John Lisman. Bursting neurons

signal input slope. Journal of Neuroscience , 22 (20 ):9053 –9062 , 2002 .

Adam Kohn and Matthew A Smith. Stimulus dependence of neuronal

correlation in primary visual cortex of the macaque. Journal of Neuroscience ,

25 (14 ):3661 –3673 , 2005 .

 

Hendrik Anthony Kramers. Brownian motion in a field of force and the

diffusion model of chemical reactions. Physica , 7 (4 ):284 –304 , 1940 .

70 connecting neurons .

 

Pawel Kudela, Piotr J Franaszczuk, and Gregory K Bergey. Changing

excitation and inhibition in simulated neural networks: effects on

induced bursting behavior. Biological cybernetics , 88 (4 ):276 –285 , 2003 .

Michael S Lewicki. A review of methods for spike sorting: the detection

and classification of neural action potentials. Network: Computation in

Neural Systems , 9 (4 ):R53 –R78 , 1998 .

 

Ashok Litwin-Kumar and Brent Doiron. Slow dynamics and high variability

in balanced cortical networks with clustered connections. Nature

neuroscience , 15 (11 ):1498 , 2012 .

 

Isabel Llano, Christina K Webb, and Francisco Bezanilla. Potassium conductance

of the squid giant axon. single-channel studies. The Journal of

general physiology , 92 (2 ):179 –196 , 1988 .

 

Heiko J Luhmann, Anne Sinning, Jenq-Wei Yang, Vicente Reyes-Puerta,

Maik C Stüttgen, Sergei Kirischuk, and Werner Kilb. Spontaneous

neuronal activity in developing neocortical networks: from single cells

to large-scale interactions. Frontiers in neural circuits , 10 :40 , 2016 .

 

Eisaku Maeda, HP Robinson, and Akio Kawana. The mechanisms of

generation and propagation of synchronized bursting in developing

networks of cortical neurons. Journal of Neuroscience , 15 (10 ):6834 –6845 ,

1995 .

 

Amit Manwani and Christof Koch. Detecting and estimating signals in

noisy cable structures, i: Neuronal noise sources. Neural computation ,

11 (8 ):1797 –1829 , 1999 .

 

Jessica Mariani, Maria Vittoria Simonini, Dean Palejev, Livia Tomasini,

Gianfilippo Coppola, Anna M Szekely, Tamas L Horvath, and Flora M

Vaccarino. Modeling human cortical development in vitro using induced

pluripotent stem cells. Proceedings of the National Academy of

Sciences , 109 (31 ):12770 –12775 , 2012 .

 

Henry Markram and Misha Tsodyks. Redistribution of synaptic efficacy

between neocortical pyramidal neurons. Nature , 382 (6594 ):807 , 1996 .

Jan Müller, Marco Ballini, Paolo Livi, Yihui Chen, Milos Radivojevic,

Amir Shadmani, Vijay Viswam, Ian L Jones, Michele Fiscella, Roland

Diggelmann, et al. High-resolution cmos mea platform to study neurons

at subcellular, cellular, and network levels. Lab on a Chip , 15 (13 ):

2767 –2780 , 2015 .

 

Walther Nernst. Zur kinetik der in lösung befindlichen körper. Zeitschrift

für physikalische Chemie , 2 (1 ):613 –637 , 1888 .

Arnold Neumaier and Tapio Schneider. Estimation of parameters and

eigenmodes of multivariate autoregressive models. ACM Transactions

on Mathematical Software (TOMS) , 27 (1 ):27 –57 , 2001 .

Srdjan Ostojic. Two types of asynchronous activity in networks of excitatory

and inhibitory spiking neurons. Nature neuroscience , 17 (4 ):594 ,

2014 .

 

Sergiu P Pa¸sca, Thomas Portmann, Irina Voineagu, Masayuki Yazawa,

Aleksandr Shcheglovitov, Anca M Pa¸sca, Branden Cord, Theo D

Palmer, Sachiko Chikahisa, Seiji Nishino, et al. Using ipsc-derived

neurons to uncover cellular phenotypes associated with timothy syndrome.

Nature medicine , 17 (12 ):1657 , 2011 .

 

Quentin Pauluis, Stuart N Baker, and Etienne Olivier. Emergent oscillations

in a realistic network: the role of inhibition and the effect of

the spatiotemporal distribution of the input. Journal of computational

neuroscience , 6 (1 ):27 –48 , 1999 .

 

Rajnish Ranjan, Georges Khazen, Luca Gambazzi, Srikanth Ramaswamy,

Sean L Hill, Felix Schürmann, and Henry Markram. Channelpedia:

an integrative and interactive database for ion channels. Frontiers in

neuroinformatics , 5 :36 , 2011 .

 

Michael W Reimann, Max Nolte, Martina Scolamiero, Katharine Turner,

Rodrigo Perin, Giuseppe Chindemi, Paweł Dłotko, Ran Levi, Kathryn

Hess, and Henry Markram. Cliques of neurons bound into cavities

provide a missing link between structure and function. Frontiers in

computational neuroscience , 11 :48 , 2017 .

 

Hernan Gonzalo Rey, Carlos Pedreira, and Rodrigo Quian Quiroga. Past,

present and future of spike sorting techniques. Brain research bulletin ,

119 :106 –117 , 2015 .

 

Fred Rieke and David Warland. Spikes: exploring the neural code . MIT

press, 1999 .

 

Hannes Risken. Fokker-planck equation. In The Fokker-Planck Equation ,

pages 63 –95 . Springer, 1996 .

 

Robert Rosenbaum, Matthew A Smith, Adam Kohn, Jonathan E Rubin,

and Brent Doiron. The spatial structure of correlated neuronal variability.

Nature neuroscience , 20 (1 ):107 , 2017 .

 

Cyrille Rossant, Shabnam N Kadir, Dan FM Goodman, John Schulman,

Maximilian LD Hunter, Aman B Saleem, Andres Grosmark, Mariano

Belluscio, George H Denfield, Alexander S Ecker, et al. Spike sorting

for large, dense electrode arrays. Nature neuroscience , 19 (4 ):634 , 2016 .

Seref Sagiroglu and Duygu Sinanc. Big data: A review. In Collaboration

Technologies and Systems (CTS), 2013 International Conference on , pages

42 –47 . IEEE, 2013 .

 

Anil K Seth. Neural coding: rate and time codes work together. Current

Biology , 25 (3 ):R110 –R113 , 2015 .

 

William R Softky and Christof Koch. The highly irregular firing of cortical

cells is inconsistent with temporal integration of random epsps.

Journal of Neuroscience , 13 (1 ):334 –350 , 1993 .

 

Larry Squire, Darwin Berg, Floyd E Bloom, Sascha Du Lac, Anirvan

Ghosh, and Nicholas C Spitzer. Fundamental neuroscience . Academic

Press, 2012 .

 

 

Ian H Stevenson and Konrad P Kording. How advances in neural recording

affect data analysis. Nature neuroscience , 14 (2 ):139 , 2011 .

A Strassberg and DeFelice. Limitations of the hodgkin-huxley formalism:

effects of single channel kinetics on transmembrane voltage dynamics.

Neural computation , 5 (6 ):843 –855 , 1993 .

 

E Vaadia, I Haalman, M Abeles, H Bergman, Y Prut, Hi Slovin, and

AMHJ Aertsen. Dynamics of neuronal interactions in monkey cortex

in relation to behavioural events. Nature , 373 (6514 ):515 , 1995 .

Jaap van Pelt, Ildiko Vajda, Pieter S Wolters, Michael A Corner, and

Ger JA Ramakers. Dynamics and plasticity in developing neuronal

networks in vitro. Progress in brain research , 147 :171 –188 , 2005 .

Carl Van Vreeswijk and Haim Sompolinsky. Chaos in neuronal networks

with balanced excitatory and inhibitory activity. Science , 274 (5293 ):

1724 –1726 , 1996 .

 

C van Vreeswijk and Haim Sompolinsky. Chaotic balanced state in a

model of cortical circuits. Neural computation , 10 (6 ):1321 –1371 , 1998 .

Gilbert Thomas Walker. On periodicity in series of related terms. Proc. R.

Soc. Lond. A , 131 (818 ):518 –532 , 1931 .

Mati Wax and Thomas Kailath. Efficient inversion of toeplitz-block

toeplitz matrix. IEEE Transactions on Acoustics, Speech, and Signal Processing ,

31 (5 ):1218 –1221 , 1983 .

 

Pierre Yger, Giulia LB Spampinato, Elric Esposito, Baptiste Lefebvre,

Stéphane Deny, Christophe Gardella, Marcel Stimberg, Florian Jetter,

Guenther Zeck, Serge Picaud, et al. A spike sorting toolbox for up

to thousands of electrodes validated with ground truth recordings in

vitro and in vivo. ELife , 7 :e34518 , 2018 .

 

G Udny Yule. Why do we sometimes get nonsense-correlations between

time-series?–a study in sampling and the nature of time-series. Journal

of the royal statistical society , 89 (1 ):1 –63 , 1926 .

 

Y Zuo, H Safaai, G Notaro, A Mazzoni, S Panzeri, and M Diamond.

Spike timing and spike rate make complementary contributions to

perceptual decisions in rat s1 and s2 cortex. Current Biology , 25 :357 –

363 , 2015 .

Universiteit of Hogeschool
Master in Physics and Astronomy + Master in Computer Science, profile Artficial Intelligence
Publicatiejaar
2018
Promotor(en)
Prof. Tom Lenaerts en Prof. Vincent Ginis; begeleiding door Prof. Max Tegmark (MIT).
Kernwoorden